Token导航 LogoToken导航

AI 资讯 · ZPotentials

红杉美国对话Mecka AI:机器人缺乏互联网冷启动数据

更新 2026-11-18ZPotentials正文 1.3万字阅读约 41分钟2 张图片
图片

图片来源:Sequoia Capital

Z Highlights

  • 机器人领域的根本问题是,我们没有大语言模型从互联网得到的那种冷启动红利。从根本上说,大量机器人数据是三类东西:像素、动作和逻辑。

  • 第一人称数据,基本就是人类以第一人称视角演示、执行任务的视频数据。机器人以第一人称视角体验世界,那我们能不能也向它展示,从第一人称与世界互动是什么样子?

  • 贡献者这部分成本其实并不是最关键的因素。仍然会有办法去差异化,依靠合适的硬件、运营和软件,确保大规模数据的高质量可以被验证。

Josh Gao是Mecka AI创始人兼CEO。Mecka AI为物理AI提供数据与部署基础设施,通过可穿戴设备采集第一人称人类行为及触觉数据,用于训练机器人基础模型。本期红杉资本《Training Data》由合伙人Sonya Huang主持,讨论数据采集、质量控制与机器人商业化。节目发布于2026年10月20日。

Mecka是什么:物理AI的数据与部署公司

Sonya Huang:今天很荣幸请到Mecka的Josh做客节目。Josh是Mecka AI的创始人兼CEO,这家公司正在为机器人构建数据和部署基础设施。我,以及整个生态,都认为机器人即将进入一个黄金时代。和大语言模型不同——它们有来自互联网的海量免费人类数据——机器人在本质上受数据约束。而你在生态中的位置,作为把机器人数据、物理数据带入模型分发环节的领先数据工厂,是一个非常非常有意思的位置。所以我期待借今天这场对话,聊聊第一人称数据与数据采集在机器人领域如何运作、经营一座数据工厂的真实运营和经济,以及你对机器人研究和部署的整体思考。谢谢你来做客。

Josh Gao:太棒了,谢谢邀请。

Sonya Huang:太好了。也许先从一个基本问题开始:对不熟悉的人来说,Mecka是什么?你打算如何影响机器人世界?

Josh Gao:Mecka正如你所说,是物理AI的数据与部署公司。这句话的意思是:今天我们创造、处理,并最终授权大量进入这些机器人基础模型训练的数据。机器人领域的根本问题是,我们没有大语言模型从互联网得到的那种冷启动红利。从根本上说,大量机器人数据是三类东西:像素、动作和逻辑。我们没有大量这种经过整理、处理和干净的数据,去训练模型理解身处物理世界意味着什么。所以我们大量的工作基本是:第一,创造不同类型的硬件,比如为人类配备传感设备、做可穿戴设备;第二,开展不同的运营,与个体贡献者、企业以及不同环境里的任务合作去采集数据;最后做后处理,并做好质量把关,让这些数据集真正有用,教会机器人认识这个世界。

Sonya Huang:没有互联网馈赠给你一个巨型、免费、几十万亿甚至更多Token的语料库,那么机器人必须为进入训练混合的所有数据付费、并用运营方式去采集——你认为这是一个可行的挑战吗?没有互联网这份馈赠,它在经济上可行吗?

Josh Gao:我们仍然继承了互联网给我们的很多馈赠,所以归根结底并不是从零开始。你看大语言模型和它们的数据:预训练数据长期以来基本由实验室驱动,大体来自网络爬虫之类,它并没有成为一个大市场。今天在机器人领域,我们确实看到预训练是一个相当大的市场,它可以用几种形式来实现。比如,我们可以教视频模型去生成更符合物理、更真实的世界;我们得以利用此前大语言模型和各类世界模型的成果来实现这一点。那么,能否在规模上达到那个数据量?最终归结为:在哪种数据规模下,你能解锁什么样的商业用例。沿着这条旅程,我们能在开端就解锁大量简单的抓取码放任务;而走到长尾部分,那里会比今天大上好几个数量级。

图片

图片来源:智东西

从金融科技与球鞋到机器人

Sonya Huang:我为此做了一点功课。你的背景在机器人领域是非传统的。如果我没记错,你先在金融科技世界,然后是球鞋世界。讲讲你和你的联合创始人是怎么找到通往机器人这条路的。

Josh Gao:那是一段相当有趣的旅程。在此之前,我基本是在为云厨房打造一套类似Toast的餐饮运营系统,这意味着我们要做从后厨订单管理开始的一切事情。我大学四年级的某个时候,还逃课去纽约州北部罗切斯特乡下的餐厅,部署、安装自助点餐机,我们不得不在那里通宵更换餐厅的前台业务系统。我的联合创始人造了一个稳定币,最终卖给了Coinbase;但他是一个性格非常执拗的人,在四款竞技游戏里都进过前一千名,包括英雄联盟。把我和他带到一起的,主要有两点:第一,我们都是加拿大人;第二,我们都有很深的科幻底色。我们最终的信念是:支付是一个艰难的问题,但无论我们接下来做什么,都希望它看起来令人兴奋,希望未来不可思议。而机器人看起来是一个非常值得进入的空间。

Sonya Huang:我记得走进你的办公室,立刻看到了那些机电一体化的机器人,还有墙上的川崎。你内心的那个孩子,对你现在做的事一定非常开心。

Josh Gao:没错,绝对如此。

Sonya Huang:作为机器人圈的圈外人,你认为在构建这家公司上,你的优势是什么?又在哪些地方遇到了挑战?

Josh Gao:优势在于,当我们进入这个领域时,不得不做完整的发现过程。我们联系了几百位我们欣赏的圈内人士,读遍了能拿到的每一篇论文,去拜访不同的机器人实验室。我们在2024年末左右看到的是:GPT正在起飞,而机器人还在从传统机器人时代演进。至少对我们来说,有一点显而易见:数据和算力会成为整个行业非常关键的东西。朝着那个方向走,我们读到Ego4D等论文,以全新的视角审视这些工作,心想“嘿,这里有大约4000小时的人类演示数据”。

当你真的进去看那些数据,会发现有些数据集是人们的日常生活,比如打保龄球。在4000小时的规模上,有非常广泛的用例和潜在应用。带着全新的视角,我们得以用第一性原理的方式,对什么重要形成直觉,然后和很多比我们聪明、对未来有不同看法的人紧密迭代,贴近他们、围绕产品会变成什么样不断打磨。

Sonya Huang:有意思。看起来机器人作为一个领域变化太快,以至于来自圈内外几乎既是优势也是劣势,因为人们来自不同的时代,对训练配方里什么重要之类的看法各不相同。

Josh Gao:是这样的。

第一人称数据:为什么把公司押在上面

Sonya Huang:也许对我们的听众说一句:什么是第一人称数据?我注意到你创办公司时真的为它下了一个赌注。现在它当然更分散了,但什么是第一人称数据?你当初为什么决定把公司押在它上面?

Josh Gao:第一人称数据,基本就是人类以第一人称视角演示、执行任务的视频数据。高层的想法是:在人类数据与机器人数据之间的差距上,你能弥合很大一块视觉差距。机器人以第一人称视角体验世界,那我们能不能也向它展示,从第一人称与世界互动是什么样子?

我们为什么押注它,基本是:当我们探索这个领域时,看到当时大量的机器人数据来自遥操作——也就是人类操控机器人去做演示。这在当时很难规模化。而从GPT和大量规模化原则里,我们看到必须找到显著更大地规模化数据的方法。我们早期的一些直觉是,人类和机器人有很多相似之处。人形机器人刚开始起飞。人类和人形机器人看起来一样。我们为什么不能把人类变成特斯拉那样的车队式学习,让所有人都为理解并锚定这个世界的物理规律做贡献?

Sonya Huang:嗯。那实际是什么样子?你是把iPhone绑在某人额头,然后让他去过一天吗?在实践中是什么样?

Josh Gao:对。我们最早的试点是一款手机App,招募参与者录制做饭、打扫等日常操作的第一视角数据,其中就有国内的普通参与者。那当然演进了很多。我们试过很多方式,采集过UMI数据,开头做了各种各样的东西。而现在,它已经大幅演进成我们必须生产的各种定制硬件,以及我们在不同行业必须建立的各种合作。归根结底,我们是在为人类配备传感设备,这是更大的类别。

Sonya Huang:从传感器拿到力觉数据有多重要?因为我一直想的一件事是:在自动驾驶里,你其实不需要那么多力觉数据,对吧?而在机器人领域,尤其是操作,你真的很关心我捏那个门把手用了多大力,或者拿起那个鸡蛋用了多大力。在我看来,视频并不能真正捕捉到这一点。你也许能近似,但它并不真正捕捉得到。捕捉力觉数据有多重要?你是怎么考虑去拿到它的?

Josh Gao:我们见过的力觉数据的一些替代方案,是手腕相机这样的做法,目前在人类和机器人两边都有,能观察手与你互动的不同物体之间的接触时间。这显然是一种相当取巧的方式,最终才能弄明白拉开一把椅子或拧开一个瓶盖需要多少牛顿的力。但力觉数据会极其重要。它其实是我们一直在打造的产品之一。当你与许多机器人基础实验室迭代时,你会意识到要弥合这个差距,第一,我们必须创造新的硬件。所以我们一直在开发供人类穿戴的手套,在这些手套里,能够收集完成日常生活中不同任务需要用多大力气的信息。

数据工厂内部:运营与物流

Sonya Huang:我很想花点时间谈谈一座数据工厂的实际运营,因为有太多钱投进了大语言模型的数据工厂,也有大量资金开始、并且我相信会继续涌入机器人数据工厂。而它们运作的方式,对我来说既神秘又引人入胜。所以我很想问问你关于它的运营,可以吗?

Josh Gao:好,来吧。

Sonya Huang:好,那它是怎么运作的?如果我想多赚点外快,是不是只要在你网站注册、把相机放在额头,然后开始给你发数据?还是怎么运作的?

Josh Gao:我们在贡献者端其实有很多不同的方式。一种是我们直接面向消费者的方式。通过直接的手机App,你在世界任何地方都能注册,可以开始贡献,可以登记你从事的职业,然后你会收到一连串分配给你的任务,比如打扫你的卧室、做早餐、之后收拾干净。这是一种非常轻量的方式,最终是为了获得预训练数据的多样性。第二种你必须进入的方式是:归根结底,家庭之外还有多得多的东西要采集。所以我们不得不构建大量的B2B引擎,以及这种面向各类体力劳动行业招募企业合作伙伴的能力——它跨越面包房,可能是PCB生产线,一直到——

Sonya Huang:——播客。

Josh Gao:播客里没太多手工活吧?

Sonya Huang:——这里确实有一些。

Josh Gao:我们本该给自己也配一套的。

Josh Gao:而贡献者就是这样进入混合的。但数据工厂真正的数据引擎,比人们能预期的要复杂得多、痛苦得多。那就是,我们要分发到世界上的很多东西,在设计和生产出这些硬件之前根本不存在。触觉手套就是一个绝佳的例子:市面上没有任何现成的东西,你能买到、戴上,它能可靠地告诉你每天施加了多大的力,并把那转成供这些机器人基础模型使用的现成数据集。

Josh Gao:所以我们必须有这个硬件迭代循环,要有这三四个产品周期,要有那种工程肌肉去真正思考并迭代什么是有用的,然后把生产规模化、分发到世界。这就成了把硬件分发到成千上万户家庭、成千上万家企业的物流,去采集、去上传。为了支撑到现在要处理的几百PB数据,我们不得不在运营的很多地方搭建100Gbps(千兆比特每秒)的上传线路。然后你还要处理,要确保质量控制到位,还要做所有计算机视觉,最终让它变得有用。

质量把关与防欺诈

Sonya Huang:那假设你决定:我的训练配方里播客不够,甜甜圈师傅不够——我不知道——你会真的出去敲甜甜圈师傅的门,让他们注册你的平台吗?还是怎么运作?

Josh Gao:我们通常会跨不同职业、行业,以及我们思考多样性的各种方式,跟踪一张类似热力图的东西。在这张热力图之上,如果最终我们觉得“哦,Sonya的播客不够,我们得去拿到它”——其实这正是我们今天坐在这里的原因,这是我们的秘密任务,所以到处都是摄像头。

Sonya Huang:不,不,你可别想把我剪掉。我开玩笑的,请便。我听说机器人数据采集整体上有很多质量问题,而且大量被送入的机器人数据小时数最终都不被接受。为什么会这样?你们又怎么解决这个问题?

Josh Gao:这个教训甚至最初来自不同类型机器人数据。出现过一些非常大规模的机器人工厂,它们靠大型仓库里重复地做任务,试图扩大遥操作数据。那里的一些经验来自研究:存在某个多样性阈值,超过它,你就会过度饱和你需要的机器人数据量,或者总体上你需要的数据量。在人类数据这边,质量——你能想象——随着我们的成长,其实是一个移动的目标。你在真实世界里必须处理的边缘案例极端得多,而且你总会看到一些从未见过的新东西。所以对我们来说,关键是:你能不能想出一些启发式规则,在数据被加工时捕捉到大量不同的东西?你能不能有各种引擎快速升级?最终,我们会学到一些一周前都还不成立的质量和多样性新知。所以要有那种敏捷性,极快行动,去创造并调整你的引擎来捕捉它——

Sonya Huang:你会捕捉到什么的一个例子?

Josh Gao:欺诈是被低估的一环,在整个数据行业都如此。我们创造的是还不存在的数据,这和你过滤互联网时不同。所以当你遇到非常有创造力和有趣——

Sonya Huang:——发来生成式视频之类的?

Josh Gao:对,非常有创造力的人。有一次有人录了那种“第一视角在麦当劳打工”的YouTube视频,试图把它当作他的贡献提交上来。基本就是这样。

Sonya Huang:哇,永远不要低估人们有多会钻空子。这太了不起了。

Josh Gao:是的,非常如此。这些是那些痛苦教训的一部分——是的,你必须设置很多门,但归根结底,你还必须在采集发生的地方在场。你得去看它是怎么做成的。你得想出一个真正激励人们做出优质贡献的激励模型。

Sonya Huang:长期来看,你怎么思考自己长期维持利润空间的能力?我可以想象一个Mecka的竞争者来找Sonya说:“Sonya,我真的很想要你的播客数据。”我可以想象,你作为中间人能够拥有的利润率最终会被挤压。

Josh Gao:就端到端确保这些数据有用而言,贡献者这部分成本其实并不是最关键的因素。所以即使那个基线一直都在,而且也许它变得越来越不具竞争力,仍然会有办法去差异化,确保你的数据在非常大规模的尺度上被可验证地高质量——依靠对的硬件、对的运营和对的软件。当我们想这些产品时,归根结底,我们确实想把它们规模化、成熟化,就像任何刚开始规模化的产品一样,你想优化它。但随着时间推移,你会有不同的产品演进出来。所以当你把播客这份第一人称数据仅仅看作你的一个SKU,然后意识到会有不同类型的数据变得重要——比如,我们能否从路边那家中餐馆,随时间推移进入米其林星级餐厅?能否越来越接近“当费德勒”而不是“当普通网球选手”?所以这些产品会变化,这些产品的制造方式也会变化。

数据规模:离“够”还有多远

Sonya Huang:真的很有意思。你认为目前已经采集了多大规模的数据?未来几年又会有多少数据被采集?

Josh Gao:我们终于进入了一个数百万小时数据的时代。两年前Ego4D还是4000小时,这是巨大的跃升。但相比之下——你想以自动驾驶为例——特斯拉花了十多年时间解决两个自由度,最终是加速和方向,路上有几百万辆车。它们现在拥有的视频数据远不止几百万小时。所以相对而言,我们距离必须到达的地方,仍然差好几个数量级。

Sonya Huang:一方面,这听起来像是你的机会,听起来对机器人数据工厂来说是很大一笔收入。另一方面,作为投资机器人基础模型的人,我看着这个会说:哦,天哪。我们能到达应许之地吗?因为我也做过和你一样的计算。一辆车有两三个自由度。一个机器人有——

Josh Gao:——光一只手就有几十个。

Sonya Huang:对,没错。再把它组合起来:你大概需要力觉数据,而操作环境要难得多。我会想到,你也许需要数十亿、数万亿、数千万亿小时的数据。世界上甚至有没有足够的GDP来支撑把这些数据采集进来的成本?你怎么想?

Josh Gao:关键在于边走边解锁商业用例。所以它不必那么二元——哦,某天我们解锁了机器人,或者没有。它会是一点点慢慢爬升进入世界。一个很好的到达方式是:随着一些基础金字塔被搭建起来,我们看到泛化在发生,看到规模化规律在起作用——这给了人们去规模化的勇气。有了那种勇气:第一,我们能否在某些环境里获得一些泛化能力?然后我们能否再采集大量域内、任务内的数据,弥合后训练阶段的差距?也许我能恰好从这个房间、这个播客演示里采集数据,去弥合那种在很多真实世界环境里“四个九”可靠性的差距。

Sonya Huang:这是个有用的框架。所以这不是一个从零到一的二元问题,而是我们越来越会得到能做越来越多种能力的机器人。

Josh Gao:而且我们会在沿途解锁大量任务。

Sonya Huang:不过我有个好奇:现在最充足的数据似乎是家庭数据,对吧?因为人人都能拍,很容易拿到。但家里的机器人几乎看起来是最难部署的环境之一。所以我很好奇你认为哪些应用会先落地,因为数据最易得的地方,几乎和机器人最容易部署的地方相反。

Josh Gao:家庭会是我们必须最审慎应对的环境之一,远超其他。而且很多刚在机器人领域成熟的基准和评测——比如确保机器人不会在家里砸到婴儿——就是这种。最初的任务会沿着那个谱系受限得多,以一种非常目标导向的方式,你能对某些任务爬山式推进,那里有现成的SOP定义这份工作、这份活儿该怎么做。

Sonya Huang:比如一个叠衣服机器人。

Josh Gao:可能是叠衣服。叠衣服——我们花了一年半多试图解决,它绝对会在近期内被解决。很多你在装配线上看到的抓取码放、包装任务——那是传统机器人解决不了的操作机器人——我们在未来一两年内就能做到。

落地与飞轮:受限场景先行

Sonya Huang:这是个很好的过渡,来谈谈部署。我很想和你聊聊作为整体概念的机器人部署。你说过有用的机器人今天就已经能部署了。你为什么这么认为?

Josh Gao:人们低估了机器人可以有多么多样化。如果我们把自己限制在一种上——人形机器人大受欢迎,它也会是机器人一个非常受欢迎的终端形态——但除此之外,今天的机器人领域还存在着这么多不同的形态。你可以看看不同的市场,东南亚以及国内不少酒店已经落地服务、清洁、配送类机器人——从你的Uber Eats送到门口开始,从前台到你酒店房间的门。很多这类机器人在今天已经在全球广泛部署,它们只是刚开始在北美、在美国流行起来。最早必须被部署的一些机器人,甚至会只是工业清洁机器人,比如市面上很多主题式机器人。然后从那一点一点点往上走,沿着那个谱系开始解决早期的操作任务,一路向上,直到未来我们得到那个开箱就能解决任何任务的人形机器人。

Sonya Huang:你在这期节目早些时候提到了特斯拉和FSD。你认为什么时候我们能到达有一点像FSD那样的飞轮的节点?而当我们到达那个节点时,你如何看待你们作为一家公司的角色会如何演变?

Josh Gao:当我们到达那里时,我们还有一段距离。但会是一个缓慢的过渡。当你慢慢解决一些商业任务时,你最终也能开始获得一些这样的飞轮。然后你能获得部署内数据,你能获得失败案例、纠正数据。这对启动机器人飞轮将绝对重要。那有多远,取决于那个谱系,取决于跨各种尚未完成或未被解决的任务和领域的饱和程度。所以还有相当一段路。当我们真的到达那里时,我相信在那过程中Mecka会看起来非常不同。

一方面,我们并不完全只信第一人称数据。我们普遍相信,大量不同的SKU——整锅数据汤——都很重要。所以:未来某个时候我们会生产米其林级的数据吗?我们会不会去教一些机器人还没到达的真实世界边缘案例?如果我们相信这个世界极其广阔、细节极其丰富,就永远不会缺少要教的东西。而即便在那个世界里,我们也有这样一个角度:我们相信Mecka会为机器人的部署做出非常大的贡献。

所以在某些环境里,在弥合那个差距上——能够在那个领域、那个环境里完成那个任务——我们能否真正成为那个平台,在那里我们采集领域数据、做后训练、帮助企业,并通过细致周到的服务,帮助他们进入一个充满机器人的世界?我们看到Mecka会成熟成那样。

Sonya Huang:我想听听你对部署扩散在物理世界里会如何展开的预测。也许我可以类比一下LLM世界里发生的事:代码部署有几种不同的方式,对吧?有垂直特定的应用公司。有基础模型公司自己,向上规模化去市场化。然后还有所有这些FDE部署服务商、服务代码商,随你怎么叫它们——就是一队队的人在帮助企业大规模采用AI。那些似乎是向经济中分发Token的广泛路径。你认为在物理世界里的类比会是什么?

Josh Gao:我们在机器人领域非常相信垂直和水平两者。所以有完全垂直的、高度任务特定的,一路从硬件到模型再到数据。我们也相信一个生态系统的存在,那里会有非常庞大、形状尺寸各异的机器人硬件。世界上也会有不同类型的开放模型。它会有点像现代机器人版的一个系统集成商。在传统版本里,你负责安装产品,那极其竞争激烈、利润率很紧。而现在有一个世界,你实际上可以安装、并帮助那个产品随时间变得更充分地利用数据、提高生产效率。所以,你能不能让上周你安装的那台机器人,做出几天前它都不认为可能的事?它能不能帮你开始扩大你业务能力所及的边界?这最终就是我们希望瞄准的里程碑。

Sonya Huang:好。但作为投资者你会告诉我:现在给我一些投资建议。你既投通用机器人也投垂直机器人,那么你最喜欢的垂直机器人类别是什么?

Josh Gao:最好的会是工业机器人起步。它们已经有很多传统机器人参与其中。它们任务受限,就像我们谈到的。比如数据中心维护机器人。对——你就不用期待一个婴儿冒出来,还得想着别砸到它之类的。所以那个世界比野外受限得多。其他我们兴奋的类别,是那些甚至很早就有可能可行的空间。比如酒店里的一些做法,你能真正开始从前台配送到酒店房间,能真正有操作、能交接,这些让我们兴奋。然后是那些人类根本做不到的地方。我们在公司的一些全员会上常开的玩笑是:如果有一天Mecka能帮助部署一个开采小行星的机器人,那我们大概干得相当不错了。

Josh Gao:那只是一个完全不存在的工作和任务,人类做不了,我们还不知道怎么去做,但它似乎不可避免。

Sonya Huang:对,我爱这个。它让我想起——虽然我还没想到星际层面——你听说过Gecko Robotics吗?它们帮助维护舰船之类的东西。我觉得真的很酷。

Josh Gao:绝对。

硬件产品线、EgoVerse与训练配方的数据汤

Sonya Huang:你能说说你愿意公开分享的硬件产品线吗?以及目前实验室最感兴趣在哪里采集定制数据?

Josh Gao:一些迭代来自我们从手机App起步的时候——我们很快把它规模化,而且那款产品有不少优点。最终的缺点是你无法获得关于这个世界尽可能丰富的信息。所以有些东西我们很早就必须开发,像是最终把人们“Waymo化”。而在传感器化方面:你能不能用这些配备不同相机和传感器的棒球帽?我们建造一个中央集线器,然后连接所有这些不同的配件,比如触觉手套、外置相机等等。所有这些都在试图捕捉:你如何日复一日地与这个世界互动,并希望能克隆那种行为。

Sonya Huang:嗯,有意思。EgoVerse是什么?

Josh Gao:EgoVerse——Danfei Xu教授、Ryan Punamiya,这些是最早相信第一人称数据的一些研究者和先驱。我们有幸成为那个联盟的早期贡献者,它由不同认为规模化人类数据对机器人很重要的人组成。所以,第一,我们创造并贡献了大量不同类型的第一人称数据,覆盖不同的企业、行业和家庭环境。我们分享了所有的动作轨迹数据——也就是所有的后处理、计算机视觉和质量把关。我们还贡献了几乎所有的平台和网页工具——也就是数据加载、基础设施。归根结底,它要实现他们的愿景:理想情况下,我们能把很多机器人行业凝聚在一起,因为我们希望能在这波浪潮中抬升每一个人,分享工具、数据和经验教训——只是因为作为行业,我们离到达那里还差得太远。

Sonya Huang:说机器人行业已经在某种程度上收敛到一个训练数据配方,你懂的:来自YouTube的互联网规模数据,加一堆第一人称数据,加UMI,然后加遥操作——也许每种数据有个三角形比例?我记得Jim Fan在红杉的一次活动上有过一个非常好的可视化。这是不是你所看到的配方?然后在你客户当中,是不是大家也都收敛到了一个非常、非常相似的配方?

Josh Gao:有趣的是,甚至一年前,很多人都还在争论说“哦,不,只有UMI数据能行”,“只有第一人称数据能行”。然后你慢慢意识到,正如你所说,这一切本质上就是一锅数据汤。在那锅汤里,所有配料在某个时刻都会很重要。我们看到的是,今天大家正收敛到一个配方,它看起来大概是这样的:大约一百万小时的人类数据,涵盖第一人称和不同类型模态;几万小时的机器人数据;然后是一些最后一英里的遥操作数据,以及域内、分布内的数据——哪怕只是那几小时的演示。

我们正在看到这个。但随着时间的推移,也是为什么我们在这里并不激进地只信一种“宗教”:像触觉数据这样的东西甚至还没有进入配方。如果存在这种信念,即这些模型最终需要学会拧门把手要用多大的力,那么它们就必须进入这锅数据汤。模拟也会进入这锅数据汤,而它们对收敛到正确答案都很重要。

Sonya Huang:我对这类被采集的数据听到的最常见的反对意见之一是:你可以看几百万小时的网球数据,仍然不知道怎么打败罗杰·费德勒,对吧?我很好奇你怎么看这一点,以及它对机器人学习方式的走向意味着什么。

Josh Gao:我特别喜欢AlphaGo这个类比。当你谈机器人打网球时,你得谈机器人下围棋。随着李世石以及DeepMind做的所有工作,在最开始,那是大规模地对不同专家下棋进行行为克隆。下一步是带规则的自我博弈版本——你能不能最终模拟所有不同的方式,直到想出第37手那样的奇迹?那在那一刻远远超出人类在围棋上能想到的范围。但对我们来说,在机器人这个例子里:对围棋而言,规则就是你将要操作的整个世界的边界。

在机器人这里,你拥有物理世界不可思议的丰富细节,而我们今天还没有一个能复现它的世界模拟器。所以要弥合那个差距,今天大量第一人称数据是为了:第一,帮助我们锚定基本的物理,以及你必须到达的那种行为克隆;它同时也贡献于创造这个世界模拟器可能的样子。然后沿着这条路走到某处,我们将能够创造出让机器人像罗杰·费德勒一样打网球的可能。

Sonya Huang:嗯。你认为它们主要会在模拟里自我博弈,还是在真实世界里?

Josh Gao:我最终会看到一个混合体。如果我们能得到模拟,我们就不必马上把世界的细节完全重建出来,但我看到的自我博弈既发生在物理世界,也发生在模拟里。

Sonya Huang:你在这里用了好几次“世界模拟器”这个词。你对世界模型正在发生的事有什么看法——它们现在正和视频模型这两个词有点互换着用——以及它们对机器人数据训练配方的贡献?

Josh Gao:拥有那种我们刚谈到的自我博弈的可能性——甚至只是去梦想“把一个杯子掉下去然后它摔碎”意味着什么,而不需要真的去做——对可能发生的事来说是极其有价值的。我看到了其中的价值:我们得以利用大量来自互联网和YouTube的工作,最终落在像素预测上。而如果我们能把它翻译回那些动作轨迹会是什么样子,它就能帮助我们大幅加速。

Sonya Huang:对,有意思。你提到我们已经收敛到这个数据金字塔配方。你认为如果我们只是把它放大,这个金字塔会规模化吗?你认为那会把我们带到应许之地吗?而对我来说,应许之地是有人说“机器人的GPT-3时刻”。我不再喜欢那个说法。我就喜欢:什么时候一台机器人真的能给我叠衣服,或者给我做顿饭?你认为当前的数据配方会让我们到达那一点吗,还是说我们需要算法和数据上的新突破才能到达?

Josh Gao:如果我们按那个比例放大约一个数量级,我们会沿着这条路解决很多任务。所以其中一些任务可能是在受限得多的环境里。它们可能在业务运营任务里,是你给出非常具体SOP的。而在那个理想世界里,我们有一个即插即用的机器人,它只看一眼就解决任何任务,开箱就能像罗杰·费德勒一样打网球,并且处理好真实世界场景的所有疯狂复杂性,比如天气——那还有一段路,而且那不会是我们最终看到的样子。

Sonya Huang:那会是什么样子?

Josh Gao:嗯,我们仍然有太多东西要加进配方里。那会是:我们如何开始把其他模态引入配方?那就是触觉数据。我喜欢很多模型正在收敛的方向——一个全能模型的方法,在那里你可以喂给它任何类型的观察输入,无论是力、像素,甚至极端情况下的嗅觉,然后产生某种输出,无论是动作、语音,还是不同类型的外部控制。

Sonya Huang:甚至有没有能感知气味的芯片?

Josh Gao:还非常早。这种嗅觉方法非常早期。但我喜欢想象,世界上会存在某种方式让那被解锁。

Sonya Huang:对。GPT-6 Astra的结果正在极其出色地泛化到机器人任务。我很好奇你怎么看待这个,以及它对所有那些专注于机器人的公司意味着什么。它们最终会不会干脆被AGI实验室碾压?“苦涩的教训”(The Bitter Lesson)会不会也直接碾压机器人?你怎么想?

Josh Gao:用不完美的信息规模化数据需要很大的勇气。很多这些实验室的DNA里,早早就有承担那种勇气的基因。我们正在看到的、并且令人兴奋的是,随着机器人数据的规模化,甚至只是把它加入这些主要LLM和基础模型的很多预训练配方里,你真的能开始在很多不同的领域泛化。我很兴奋全能模型的方法,你能引入大量不同类型的观察——无论是力,还是动作轨迹——进入配方,并让它泛化。也会有很多争论认为,你应该比一个能做任何事的完全泛化模型垂直得多。所以,在某个时间轴上,那个能做一切的模型会非常擅长很多事,但其中一些专门化的模型、一些更有针对性的机器人基础模型,可能在那些任务的“四个九”能力和可靠性上变得非常出色。

Sonya Huang:嗯,好。我刚才从字里行间听到的是:最新的基础模型擅长机器人这件事,其实并不那么令人意外,部分是因为现在其实已经有相当多的机器人数据被扔进了训练配方。这样说公平吗?

Josh Gao:当你细想一下,这其实相当可预期。

尾声:一个充满机器人的世界

Sonya Huang:非常有意思。我很想在结尾回到你的科幻根源。你创办这家公司,是因为你能想象一个机器人无处不在的世界版本。描绘一下那个世界会是什么样子。

Josh Gao:最好笑的时刻,大概是你参观我们纽约办公室的时候。在我们那间主要的会议室里,我们墙上挂着的其实是川崎的Corleo。那是机器人豹狗马,随便管它是什么。

Sonya Huang:豹狗马,没错。所以它基本就是一个机器人豹狗马。

Josh Gao:它基本是你见过的最荒诞的视频和预告片。

Sonya Huang:我最喜欢的部分是,你们让Anas相信那上面真的是你和你妈妈。

Josh Gao:对,有一段剪辑,一个奇幻的亚洲女士和她儿子骑着马,在绿草地上方、一条小河上,而Corleo——这匹狗豹马机器人——正跳过河。所以我们告诉Anas,这基本就是我们小时候的样子,是我们生成的。而美妙之处就在于它有多荒诞。我非常热爱《银河系漫游指南》的哲学,以及世界可以有多荒诞、未来可以有多荒诞。而在这个充满机器人的世界里,我很愿意相信,会有那样疯狂的创业者和人,相信像这样的形态会很有趣。而且机器人形状和尺寸会看起来像一个世界,在那里我们想出了各种古怪的机器人,它们能做一些你甚至还没想到的事。

Sonya Huang:比如开采小行星。数量级上,十年后世界上会有多少机器人?

Josh Gao:比人类多得多得多。

Sonya Huang:多很多个数量级?

Josh Gao:对。

Sonya Huang:那真的很酷。1000亿个豹狗马?

Josh Gao:豹狗马——至少再高一个数量级。

Sonya Huang:太好了。你正在构建的东西在运营上真的非常令人印象深刻,也很酷,你如何扩大数据采集的努力,让这个机器人黄金时代、这个你从小梦寐以求的科幻未来成为可能。所以谢谢你今天来做客,既告诉我们你如何构建这家公司,也告诉我们你如何看待未来。这真的非常有趣。

Josh Gao:非常感谢你们邀请我们。谢谢你,Sonya。

原视频:Inside the Robot Data Factory: Mecka's Josh Gao on Sensorizing Humans to Train Robots

https://www.youtube.com/watch?v=0idrTKCDhuE

编译:Nancy Gao

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。