Token导航 LogoToken导航

AI 资讯 · 硅谷101

GPT-6 Astra对Agent机器人与制药的影响

更新 2026-10-23硅谷101正文 2.1万字阅读约 66分钟5 张图片

回顾9月,AI圈的重磅新闻一个接一个。

9月4日,OpenAI发布GPT-6 Astra。这个发布报告里只字未提机器人的通用模型,转身就空降了机器人评测榜首,甚至让一批机器人Benchmark直接失效。有人半开玩笑地说:机器人领域等了这么多年的“GPT时刻”,居然是GPT自己。

Meta Muse给每个用户配了一台云端电脑,两周就冲上美区App Store榜首;竞争对手Instinct一个月内估值从25亿涨到100亿美元。个人Agent掀起了新一轮烧钱获客大战,可它们能打开的网页,正在一个一个被关上。

AI for Science方面,Claude只用了21小时就找到一种结构像CRISPR的新酶系统ART,AI圈很兴奋,因为AI开始做科学发现了,生物圈的反应则相对平淡,大家想在实验室里验证了再说,为什么会有这种反差现象? 

当模型进化到普通人难以感受到它的进化,研究者的感受是什么样的?本期《硅谷101》,我们请来三位分别站在Agent、机器人和AI制药一线的研究者——Pokee.ai创始人兼CEO朱哲清,破壳机器人创始人、清华大学交叉信息研究院助理教授许华哲,华盛顿大学计算机学院助理教授王晟,一起聊清楚三件事:个人Agent商业化卡在哪?机器人怎么被Astra这样的底层模型冲击?AI制药真正的瓶颈是什么?

以下是这次对话内容的精选:

前沿科学家视角:GPT-G Astra进化了什么?

泓君:Astra发布后,你们有没有使用过这个产品?或者说我们来看网上的demo,大家觉得最让你惊艳的一个demo是什么?

许华哲:因为我是做机器人的,我们测了很多Astra在做机器人任务上面的一些能力。我们看到的第一个点就是,它的适应能力非常强。比如说给它某一个机器人本体,让它去做相应的事情,那它很快会发现,这个机器人的运动速度比较快,或者这个机器人的运动空间是怎样的,比如它撞到桌子了,它会说,这个桌子蛮高的,那我是不是应该把手抬得更高一点?这其实是把CoT(思维链)这种反思过程的能力,变成一个它实际的动作的能力,这是过去的很多机器人的模型和大模型都不具备的。

另一个是它自我更新、自我升级的能力。因为它有这样的反思,它可以一次一次做同样的事情,每一次做得更好。这个其实在网上大家也看到了,有人拿Astra去操作一个机器人机械臂去画金门大桥,那它第一次画的还是比较差的,但是它画完了以后,它会再想怎么样能画的更好,经过几轮的迭代,它就可以画的非常逼真。

我们试了非常多其他的,比如插花,这是一个经典的机器人任务。我们给它加了一些额外难度,那朵花的茎被劈开两半,有点分叉。这个时候它会知道,因为它分叉了,所以我要捏住这个分叉,把它捏窄一点,再往里塞。这样的能力其实还是比较惊艳的。

泓君:它其实已经理解了一些物理世界操作的规范。

许华哲:我觉得本质上还是理解3D,因为这件事情它还是从三维尺寸层面就可以做出一些理解,但是确实这样的理解已经能够帮助到非常多的非动态的物理世界操作任务了。

泓君:我看网上还有一些很有意思的demo是,他们在用Astra做生成3D的视频,非常的快,然后渲染也很好。

许华哲:这是另一个Astra在机器人方面很令人震惊的能力,就是给它几张图片,它可以很快把图片仿真生成出来。学术圈可能把它叫做Real-to-Sim。这件事过去是需要拍大量的视频照片,需要很多人的手工标定修改。但现在你给Astra这样一个指令,它很快就把整个实验室或者办公室的环境给你复现出来了。那你拿着这样的仿真,可以去训你的机器人,那也会有一个在仿真上面的提升。

朱哲清:我们是做模型公司的,Astra在发布的时候,非常强调他们在后训练、模型开发等等上面的一些迭代能力。试下来以后,并没有那么惊艳,但是它确实在长程任务上面和迭代上面,比之前的几版模型有一个比较稳定的提升。与原来的模型相比,它能够对上下文以及之前完成的任务有更稳定的认知,不会出现太多的幻觉的情况。所以从我们的目前的体验来说还是比较好的。

但可能有几个问题:速度相对来说会慢一些,也有可能跟现在用量很高有关系。同时在更加长程的任务上,比如说让它跑一个晚上,幻觉还是会发生。所以它并没有根本上解决,但总体来说还是提升了不少。

我有朋友同测了一些前端以及设计的任务。从前端的审美跟认知上面,我觉得还是有比较大的提升的。可能是在训练的时候,对于设计和审美方向有特殊的训练有关系。

泓君:Bill,这轮Astra的发布,你觉得从模型对行业的影响来看,它跟当年opus 4.6、4.7的发布,从Coding能力的进化来比,它是一个大的节点吗?

朱哲清:单纯Coding来说,可能没有那么大的一个节点。4.5到4.6,当时我们的体感是一个几乎范式式的转变,原来只能依赖它做短程Coding,几个file的改动,做一些简单的小项目,到4.6那一次模型以后,基本上你会感受到工具调用几乎不会出错了,它去做一些长程的Coding任务,可以自主进行了。

而现在Astra只是说可以做到更长程的任务,幻觉是可以降更低,审美变得更好。但它没有做到说,我能够解决一个完全以前完全解决不了的问题。

王晟:我觉得是一个大的节点。我们现在已经都从之前Claude等系列模型切换到GPT-6 Astra来做我们的biomedical内部的任务了。我主要是做AI for Science,里面核心的就是AI for一些biomedical的应用。

我们用Astra有两个特别好用的地方,一个是Computer Use,一个是一些长程的任务。

Computer Use这方面,我们会用Astra来操作一些生物医学领域很多年前编写的那些软件,这些软件在领域内默认要使用,但它们其实都非常难用,界面设计的也不好,还有很多的术语,所以对一些跨领域的人来说,使用成本是非常高的。

但是Astra它的Computer Use功能,可以直接根据一些简单的prompt,就可以操作得比较好。并且我还可以跟它学习怎么用这个软件,毕竟在生物医学领域,很多人对AI工具的接受度比较低。Astra可能把这些软件对应的在网上的一些教程,别人之前用过的一些用户日志,一些反馈全部都以文字的形式学进去了,所以它真的理解怎么用这些软件。

另一方面就是长程的任务,我们生物医学这块,任务会比较复杂,这些任务有时候会持续8至24小时,Astra会做得比较好。它比起其他的一些模型,做得比较慢,但挺让我放心的,说明它可能会更深思熟虑一点。

我们现在一般切换着用,白天用一些反馈比较快的模型,到了准备让模型跑一晚上的时候,就用Astra来设计一个比较长程的pipeline或者prompt。这也是它比较值得信赖的一点,在AI for Science这个领域里面的一些表现。

泓君:我没有想到Computer Use的这个功能居然在AI for Science领域能帮助到大家这么多。

王晟:Astra在这次发布时候做了两个生物医学的demo。其中一个就是Computer Use demo,这个demo在我们圈子内是出圈了,大家发现,原来可以直接用Astra来操作一个生物医学的tool。它当时操作的一个tool叫MultiQC,是一个挺常用的网页工具。我们开始用这个功能,发现它比想象的要好用很多。其实Computer Use这个功能我觉得之前的模型也具备,只是大家没有开始真的思考怎么把它融入我们科研中的pipeline里面。

computer use回春:但商业化卡在了身份验证

泓君:Bill,你可不可以一句话解释一下,什么是Computer Use?

朱哲清:Computer Use是通过模型对于视觉的理解,来决定这个agent下一步要在屏幕上点击哪个部分,或者输入哪些文字,来完成一系列的任务。当它可以串联这么几十个动作的时候,可以完成一个最终人类想要达到的一个目的。

泓君:就它跟API的区别是,你不用给接口,不用给密码,它直接像人一样去操作跟使用电脑。

朱哲清:就是它看到的是人类看到的屏幕,看到人类看到的UI,看到人类看到的所有的视觉和可以交互的界面。通过人类可以使用的电脑的输入输出设备来完成这些任务。

Astra宣传片中展示的Computer Use场景 图片来源:OpenAI

泓君:我觉得Computer Use之前好像也有,为什么Astra的发布,又重新把Computer Use带火了?

朱哲清:感觉Computer Use现在比原来又火了一波。之前大家觉得所有的工具都会开API,所有的工具都会有agent access(访问权限)的接口,很多的APP也好,系统也好,都在做agent native(原生智能体)的set up。

但是最近,不管是Instinct也好,还是Meta Muse也好,背后其实都接了浏览器。有一个比较大的问题就是有很多第三方的APP或者Amazon也好,比如说一些shopping的APP也好,travel的一些APP也好,他们其实是不愿意开放API的。

我觉得这又回到了当年Manus的情况,就是Manus最开始做了Browser Use(浏览器操作),后面很多别家也跟上,后面大家发现这个不是很高效。大家都回到Coding和API调用,现在好像有些东西避不开,又回到了Computer Use,所以我觉得最后有可能还是个mixture的状态。

我这边有一个比较有意思的看法,因为我们目前是focus on相对比较小的一些模型,比如说我们基本上现在发布的model都30B左右的模型,是可以在端侧和私有算力上面去进行的。比如说我有一台小的AI box,或者说我有一个AI PC,它就可以跑这个模型了。

未来如果说这个Browser Use本身发生在你的机器上面,而不是发生在云端,那就会改变Browser Use本身可能会给你带来的一个瓶颈。因为现在的远程的Browser Use都是通过商用机器,最多找一个像Bright Data或者说IP代理,假装是消费者用户,去绕开IP校验。像Amazon、Expedia这些网站一般都说,如果是商用的IP,我不会让你进去。

泓君:商家会屏蔽一些AI机器人,不希望它们接入。

朱哲清:奢侈品网站很早以前就会都屏蔽掉。如果用的你们家的网,就是你自己的IP,那就不会再被block了。所以这个有可能会是未来一个破局的趋势,而这件事情有可能会推动很多的app厂商去改变他们的Browser Use机制,也就是说这个browser sandbox(浏览器沙箱)可能是在本地发生,而不是在云端发生。

泓君:你这个观察非常有意思,最近非常火的一个toC的消费级应用,就是Meta Muse,他们的定位是做一个个人的AI助手,它相当于给每个人做了一台云端的虚拟机,你的数据是存在一个在云端属于你的存储里的。根据你刚刚的理论,它其实还是商用的一个IP。它如果未来商业化的话,很有可能是会被商家卡住它这个IP的。

朱哲清:Meta Muse从背后的虚拟机设置来说,其实跟当时的Manus是很像的,它也主打一个Browser Use,因为它很多的使用场景跟旅行和购物有关,在这些use case之下,你是没有办法通过API的调用,来完成这个任务的,基本上都得最后靠浏览器。当时Manus其实走了一模一样的路,被全部block掉了,所以Manus到后期的时候,现在跟Genspark很像,都主打白领工作那一套。

你去看Claude Code、Claude Cowork、ChatGPT Work,最后都往白领工作效率这方面去偏移,核心原因就是因为很多东西一开始能做,但后面很快就被巨头们给全部block掉了。

泓君:比如说亚马逊现在就把Meta Muse给屏蔽掉了,如果有更多的网站去加入进来,它可能能访问的网页跟能操作的东西就越少。

朱哲清:但是他不可能把你电脑上的IP给屏蔽掉,那你自己也上不了亚马逊了,所以这个可能会是一个破局的机会。但是我怀疑这个事情会来回拉扯,在C端的这个agent,目前可能还是不是特别ready。因为做Browser Use,对模型的需求其实挺高的。它很难在短期内拉出一个现象级的体量。

泓君:那你会看好像Meta Muse长远的一个发展吗?

朱哲清:我觉得这波消费者最后一定会land到软硬件结合的状态。我觉得Meta如果能够把wearable(可穿戴设备)做很大,有可能有机会。就是为什么我觉得最后要land到软硬件结合的原因,是因为云端这件事情不能代表这个用户本身,这也是为什么browser把他们给完全block掉的原因,因为一旦换了个云端的虚拟机,它不能够验证说这个人本身就是用户本身。

我觉得用户的ID或者使用agent的那个用户的identity(身份)本身会是这一波toC的一个关键。如果说商家能够去确认这个agent就代表这一个人去做的这么一个操作。有可能很多商家会愿意做这件事情。

但是现在如果用云端的虚拟机,云端的browser,他很有可能是没有办法去验证这件事情,他会觉得说我的流量入口被人剥夺了。比如说我有一个用户,他本来就要访问我,他现在通过agent还是访问我,那其实对于我来说可能是OK的。但如果说原本一个用户,现在搞了20个agent,这20个agent的消费能力跟原来是一样的,这20个agent还不停地比价,不停地在我这边刷流量,把我这边的所有的流量全都弄乱了,对我来说是得不偿失的。

所以我觉得软硬件结合可能会是一个机会,如果说这个硬件本身属于这个用户,他就可以直接确认说这个agent就是这个用户,是一个代表行为,我就会愿意把这个access开给你。

泓君:大家在toB的工作流中会用xAI的Grok Bot吗?

朱哲清:我自己身边用Grok Bot的人更多是在尝鲜,因为它相对比较主动一点。但是你用Codex或者用Claude Code,其实都可以解决这些问题。就真的把它接进工作流的,可能相对少一些。我自己身边好多真正在B端,比如法律、医疗,真正在那些传统的企业里面在工作的人,现在还纠结于怎么能够逃出Microsoft Copilot的泥潭。甚至都不能freely使用Codex和Claude Code,就更别说要到Grok Bot这个级别了。所以我觉得整个行业现在分差非常大,走在前面的人什么都可以随便用,走在后面的人现在还在泥潭里挣扎。

Benchmark失灵:模型进步的方向,真的对吗?

泓君:我最近跟比较前沿的模型的研究员聊啊,听到一个很有意思的观点,他们认为现在在toC跟消费级的agent上,token的使用量其实是花不了多少钱的。现在真正最烧钱的地方,是在OpenAI、Anthropic、DeepMind这几家公司在竞争的核心领域——AI for Science。就是那些未被解决、未被定义的科学问题,他们要去解那些数学题,或者需要跑像王教授这样的一些生物实验,这个是非常非常烧token,而且是内部消耗量最大的一个方向。

那比如说,OpenAI解纳维-斯托克斯方程这一个问题,它内部调用了一个更强的模型,大概用了1万个子agent,发了大概有270万条信息,消耗了约1300亿输出的token。第三方按照零售价给它算了一下,这部分消耗大概是在2200万美元。

因为现在整个模型的进化,我觉得这个对普通人的感知来说已经不大了。但是对前沿的科学家来说,他们对模型能力的提升,感知是非常大的。

OpenAI宣布解决了纳维–斯托克斯千禧年大奖难题,该解是一个涡旋。图片来源:OpenAI

朱哲清:这个地方有点想问许教授跟王教授。我自己主要做post training(后训练),focus on小模型多一些,因为我们想做本地私有化的模型。我们能看到的就是,这个层次的模型,在我们优化之后,和frontier model的差距越来越小。

从AI for Science角度,或者说从robotics角度,frontier model在每一代的迭代当中,你们觉得会有多大的提升?

比如说我们从Opus 4.5到4.6的区别,对比4.8到Fable之间的区别,或者说5.6到Astra之间的区别,这个差距可比吗?

王晟:我的观点是,在生物医学领域,它的AI for Science能力确实是有一个很大的提升。但是这个提升主要来自于它的coding能力,这种一般的coding查文献,做长程任务的能力,并不是它对这种生物医学知识能力的提升。有一些benchmark是专门测Biomedical knowledge知识层面的,Astra并没有提升。

我们现在实际用的时候,其实很难去使用Astra,或者Opus、Fable,因为它们对生物医学的任务都会防范的越来越严,它都会refuse to answer,这个是非常严重的问题。所以我们其实内部用的时候都是用Kimi K3或者Muse Spark 1.3。当如果要用Astra的时候,都要用一些比较特殊的方式来跟Astra说,我这不是在做一个危险的任务,我只是在设计一个benchmark等等。所以实际这种大模型的使用体验,随着能力的增强,其实是越来越差的。

还有一个点就是,刚才Bill说的很有道理,其实我也认可,就在各种已经定义的很明确的AI for Science benchmark上,小模型确实是可以和大模型的差距越来越小。但是我个人觉得这些benchmark本身就不是定义的那么好,所以大家追赶的方向,包括大模型进步的方向,都可能不是完全正确的。

这些benchmark定义的时候,大家都会定义一个更好让AI模型去做的,比如说有一个明确的生物数据集,要预测一个明确的问题,这和我们真的做的制药发现其实是gap非常大的。本质上这些现在的生物医学benchmark就是一个Kaggle这种数据科学的比赛,所以呢它就退化成一个MLE-bench(机器学习工程基准)中machine learning的问题。那Astra这种在coding能力上提升,就会在benchmark上有很大的进步。

许华哲:我觉得从Robotics角度,Astra是一个飞跃式的提升。过去无论是Opus 4.5、4.6,还是到Fable的变化,都没有Astra这次给Robotics带来的变化大。因为过去的所有升级,在Robotics的这个测试上面,几乎都没有什么太好的表现,定性上面没有变化。

但Astra现在带来的变化是它整个定性是有变化的,很多的Robotics的benchmark失效了。像RoboDojo,大家相对认可的Robotics尤其是仿真的benchmark,Astra都成了第一名。无论是它用了哪种数据,但是它带来的这个能力,都是一个飞跃式的升级。

但是关于刚刚说的小模型和大模型这个问题,我倒是觉得,长期来说我们一定是需要一个小的,跟Astra能力相当的模型。原因是机器人的任务有时间要求,需要及时响应,需要有高动态任务。比如说我要抖一个毛巾,这样的能力Astra是做不了的,因为它太慢了。它知道我要快动一下,但是它只能写code来做,如果让它直出动作是没有办法去做的。在这种情况下,我们一定需要一个快决策的模型。只不过我们需要把现有的Astra的CoT,或者是它的reasoning的能力,以及3D理解,要把它加进去。

机器人的GPT时刻,还差什么?

泓君:所以你觉得未来机器人它的方向会变成,大模型去做规划,小模型负责实施控制,这样的分层架构吗?

许华哲:分层架构大家其实一直都还是比较认同的,只不过分层的这一刀,到底切在哪?怎么样的分层方式是大家一直有辩论的。就比如说原来大家普遍认为VLM(视觉语言模型)是做任务规划层,那这个任务规划层大概就是到,我跟你说我要吃西红柿炒蛋,那VLM规划的可能就是打开冰箱门,拿出什么西红柿,拿出鸡蛋等等,底下的小模型或者说具身的模型,它会去执行打开冰箱门究竟怎么办?打鸡蛋怎么做?

但是,Astra这次它最大的一个变化是,它现在能做低层次的动作控制,相当于它给你的指令变成了把手往右伸两厘米,或者把手放在冰箱门的把手上,如果没有抓住的话,他说那你再往前靠一靠……所以它相当于把这个层往下压了。

原来是大家边界很清晰的,但是它现在说我能力非常强,除了慢以外,我可以往下压一点点。那底下的这个就更像是一个反射式的提线木偶。肯定有一些声音说,那是不是未来上层的这个模型可以无限往下压?压到最后是不是就变成一个完全端到端的VLM?Astra直接控制所有事情。

我个人的观点是,我觉得这个还是不是很合理。第一明显是速度,你在网上看到的Astra做控制都是要16倍速或24倍速才能看。第二个,我觉得现在的Astra还是对物理是非常缺乏理解的,尤其是对于人类来说叫直觉,或者叫直觉物理学的那部分。

我随手可能碰一个物体,它如果有水可能会洒,如果是玻璃可能会碎,这些事情可能Astra如果经过很多语言推理是可以理解,但是如果我们希望它去做一个任务当中,立刻有这方面的理解,它可能效果还不够好。这个地方可能还是需要像世界模型,或者是像快速的这个模型,要去做一些直觉式的反应。

破壳机器人做麻婆豆腐 图片来源:pokebot

泓君:你刚刚提到了它速度慢,它速度慢是因为什么?是因为它的模型太大了吗?

许华哲:模型大肯定是有这样的一个原因,另一个就是它CoT很长,虽然它是加密的CoT,给出来的那个CoT应该是假的,我理解,但是它的内部的CoT是非常长的,所以它做每一步的决策,做的思考是非常冗余的,尤其是面对简单任务的时候,我们观察到面对复杂任务和简单任务,它的思考时长基本上是相似的,这也意味着复杂任务它很聪明,对吧?但是到了简单任务上,它就变成了一个额外开销,使得它看起来非常笨。

泓君:许教授,我知道你们公司的有一个demo,是用筷子夹小球。用你们自己的模型做,跟用Astra做,区别是什么?

许华哲:用我们自己的模型,首先时间上做得快很多;其次,在抓的时候是连续不断地去做尝试的,这个过程中没有太多的逻辑上的思考,我抓了一次失败了,我可以换一个角度去做尝试。

但是如果是Astra的话,它每做一步以后,它都要分析发生了的原因是什么,根据这个原因,它要去给自己指令,相应的我要做什么样的调整。这个过程看起来更像是这个人类的思考过程,但是会导致它很缓慢;第二个,它有时候会陷入到一些僵局里,它有时候无法理解为什么会发生这样的事情,或者是它一旦分析出错了,它就没有办法再进一步去推进了。

还有一个我们看到的点,就是如果我们去抓一个桌面上的物体,旋转这件事情,Astra其实做的相对来说还是弱一些,但是它能做,它要反复尝试怎么样去转,这样的能力我觉得目前还是有一定的短板的。

泓君:现在机器人公司分很多种,比如说做大脑的,包括这个大脑怎么做,它是Sim-to-Real(仿真到真实)的路径,还是说他用整个物理世界的数据,分很多的流派,还有做本体的,还有做数据的。你觉得Astra出来以后,对哪一类的公司的冲击影响会比较大?

许华哲:先说Sim-to-Real的路线。我一直是认为仿真是没有办法训出最好的机器人的模型和策略的。就很多人说,Astra让仿真重新复活了,因为它做Real-to-Sim,把真实世界迁移到仿真里面这件事变得非常容易。但是它其实只是把它这个3D的外观做得非常好,但是它并没有因为Astra出现,物理引擎变得更准确了。

Astra肯定是利好本体、利好硬件的。Astra出来这两三周,斯坦福已经有一个课题组去把Astra接入一个宇树机器人里面,让它在家里面去做一些家庭任务了。这件事情还是非常快的,就相当于他做了一个论文,两周时间就做出来了。可以看到在Astra有了很强的跨本体泛化能力以后,你的本体如果质量足够好,那可能连接Astra直接可以做一部分事情了,尽管它还只能是demo级。

对于做大脑的公司,我觉得是有两派,一派是相信自己会有一个更快、更好的具身模型,当然可能可以从Astra身上去学到一些,比如数据标注的方式啊、CoT的方式啊等等。我觉得是会带来一些整个行业的增长的,我觉得是一个好事。还有一派,具身模型能力可能不够强,那可能直接放弃掉这件事了,就是说既然Astra好,那我就专注在怎么用它,或者是怎么样把我的东西当做它的一个工具,让Astra来调用我的这些小的东西来完成任务的闭环,那可能更像是一个机器人部署的公司了。

所以我觉得会有一部分公司逐渐走向更偏部署的机器人,有一部分公司会做更小的Astra这样的能力,或者超过Astra能力的模型训练。

泓君:你觉得Astra对整个机器人未来,如何去做研究,会有一些新的启发,或者带来比较大的变化吗?

许华哲:我觉得会带来非常大的变化。第一个是整个模型训练的范式,我觉得大家未来都不会忽略Astra这样的一个范式,所以训模型的人肯定会产生一些新的想法。

另一个就是以前做传统机器人规划的人,那他们现在可能会往agentic,更偏harness这样的方向去做机器人的研究,如何把各种各样的能力组合起来?机器人领域有一个领域叫TAMP(任务与运动规划),它会把规划和控制放在一起,去做长程任务。

那过去这个领域,我觉得是比较古板的,或者说是比较上一个代际的能力,因为它很多时候都用传统的规划手段,去做一步一步的规划。如果我的下一个任务是拧开瓶盖,那我的上一步要确认这个瓶盖首先是关着的,否则的话我不能到下一步。这些事情其实在过去我觉得是相对有一点过时的。但是到了agentic部分,它好像又重新焕发生机了。有了好的模型以后,那又回到规划,可能是变得很重要了。所以我觉得对整个研究肯定也会带来一些变化的。

泓君:您刚刚提到了,比如说一些特别好的机器人大脑的公司,他们可以向Astra学习数据标注的方式,您觉得您从中间获得的启发是什么?

许华哲:我觉得就是要把里面的因果和直觉物理标注清楚,我做这件事情成功是为什么?失败是为什么?我做了这件事情,发生了这个结果,这里面的交互过程需要详细的标注出来,我觉得这个部分是很重要的。

过去的机器人很多标注的时候是只标注一句话描述你做了什么,就相当于只做正向标注,没有背后的原因。比如我没抓住它,是位置偏了,还是东西沾了水太滑了等等。有了这些标注,我们才能真正做一个通用的机器人大脑。

泓君:那这是不是对整个数据标注公司也会有影响?因为我知道现在还蛮多人做机器人数据标注的。

许华哲:我听的传言是OpenAI现在只买不标注的数据,它觉得外面的标注都是错的,他们都是自己内部重新再标注。另一方面,他们可能也是为了保密,不想把它的标注方式透露出去。

所以对数据公司来说会有两种,一种是卖生数据、生肉这种感觉,相当于在卖石油,是一个原材料,主要还是要靠起量来做;还有一部分就是做熟肉、熟数据,那他就需要去了解到最前沿的模型是如何去训练的,如果他有一些这方面的知识,他就可以很自信地说,OK这个是OpenAI的标注方式,这个是Pi的标注方式,你喜欢哪个?我去卖给你,他这个单价可以翻10倍,甚至更高的价格。

泓君:那您觉得它对整个未来机器人研究方式会带来变化吗?因为大家之前是在研究机器人方向的垂直模型嘛,那现在说大模型的能力足够好了,它也可以驱动机器人,虽然它有各种各样的问题,那会不会以后说机器人的训练可能它的底层就还是一个基模,它只用做后训练就可以了。

许华哲:如果我们想要真正意义上部署的话,一个几T的模型肯定是很难去做部署的。如果是远程的话,我觉得是可以解决一部分任务的,但是不能解决所有任务。如果我们都是Astra这种基础模型,我觉得是不太能成为未来所有机器人去使用的模型。一定是会有一个相比于Astra要小得多的一个模型,有相似的能力,一个范式,即使它在云端去做服务、去做host,我觉得也仍然是一个机器人专用的模型。

泓君:您觉得从Astra发布啊到今天,已经大概有三四周的时间。我知道它有机器人画金门大桥的那个demo的时候,很多机器人的创始人是很慌的,后来大家也会自己去试嘛,整个过程您心理上会有一些变化吗?

许华哲:会的。首先它出来的时候,大家刚开始尝试,基本上都是觉得非常的惊艳。最开始尝试当然是让它抓一个东西,然后它很快完成了。后面逐步去尝试更复杂的任务的时候,我们会觉得“机器人的GPT时刻还是GPT”,但是再往深入去看,还是看到很多问题。

第一,它现在双臂的任务是几乎没有办法去做的,比如说在叠衣服这件事情上,Astra是完全叠不了的。所以我们有一个感受就是,在一个语言不太好描述的任务上面,Astra的能力其实并没有很强,所以我们还是看到它在足够灵巧的地方仍然有空间。

第二,我们发现它的总结能力还不是很好,比如说它第一次做一件事,可能会花1小时,第二次做,可能花45分钟,然后我们让它持续不断地去做,它永远都是45分钟,基本上到第三次开始就变成一个常数。不会说像人或者说一些更小的模型,它在充分的训练以后,它的时间会越来越短。所以在这个地方还是可以看到机器人本身的原生模型,还是有很多空间的。

再到现在,我觉得更多的是我们要想系统1、系统2,就是快慢系统,它们之间到底应该怎么结合?

上面的Astra到底是调用,还是说给出一些指令,还是给出什么样的指令作为界面?因为它已经出现了,你不能回避它。但是它自己又有很多问题,你又没有办法直接用它,所以下一个问题是怎么样把机器人公司擅长的东西和Astra这样的模型充分的结合起来,能做出真正通用的机器人。我觉得到现在还是更多从技术角度去想未来怎么做。

泓君:最近还有一个项目也很火,叫Jev,他可能就是很多的是用系统1、系统2、快思考、慢思考的一套理论去做的,你觉得这个对机器人领域的影响大吗?

许华哲:Jev把自己定位成系统1,我觉得跟机器人本身的原生模型是很像的。机器人大家一般来说会认为它是一个主要是系统1,有一小部分系统2的能力在里面。所以我觉得机器人就应该是一个相对来说的快系统,但是Jev我们做了尝试,它在机器人上表现是很差的。

泓君:为什么?

许华哲:多方面原因,Jev本身没有办法输入图像,所以你的图像需要以状态的形式给到它,你必须要跑一个视觉的VLM也好,或者是跑一个其他的视觉模型,然后把这些状态给到它,然后再让它去做快速决策。我们测试下来,它比如说摞方块这种任务,它经常会就摞不起来,或者摞了以后就倒了。Astra它可以看到第一个块摞的有点歪,第二块就要反过来一点,往另一边靠一靠,这样子才能平衡。但Jev就没有这样的一个能力。

但是现在我看到很多人说,Jev可能可以用来标数据,因为它很快。但是我刚刚好像看到OpenAI要出一个快系统,就类似于Jev的东西,而且是有图像多模态输入的。

泓君:我们可以期待一下。那你整体觉得Astra的发布对机器人行业,你觉得它是一个正向的影响,还是一个冲击到大家的影响?

许华哲:它对整个机器人领域的影响肯定是正向的。从每个个体来说,尤其是比如说现在的模型能力远远低于Astra的这些公司,可能会有一些担心,我永远都追不上他这个能力嘛。我整体还是偏乐观的,它相当于是一个新的思路,其实照亮了很多我们之前没有看到的地方,所以我个人是觉得他是偏正向的。

AI制药瓶颈:真实世界反馈如何加速

泓君:接下来来聊一聊我自己非常感兴趣的AI for Science的环节,你觉得Astra还有Fable 5这几个模型在AI for Science上的能力谁更强呢?

王晟:我觉得Astra的能力会更强,因为他做那种长程任务的能力,要稍微强一点。对我们的应用来说,很难用现有的这些生物医学的benchmark来衡量一个模型它做生物医学任务的好坏。如果我有个benchmark叫它预测一个东西,它可以做得很好,比如预测一个蛋白质的活性。

但是我们现在最重要的一个场景是:AI模型能不能出一个实验方案。具体的我要怎么样做实验?在什么温度下?用什么分子?在怎么一个湿度,怎么一个情况下做这个实验?这是一个现在的模型都做不好,但是非常重要的点。我之前说Computer Use,就是AI怎么控制电脑,我们现在这方向,我们都叫它叫“Human Use”,AI怎么样控制真实实验中的一些实验员,去做实验。

这是我们在对比了Astra和之前的一些模型中,发现Astra还是可以做的比较好的。这些任务的语料其实非常少,但是我觉得Astra它的更强的能力可能可以在这方面有一个提升。

泓君:我理解它分成两类嘛,一类是AI给方案,它去预测你的新药可能是一个什么样的结构跟分子组成。第二种就是说,这个方案做出来了,我们一定要通过真实的实验去验证这个方案可不可行。就是现在它第一个部分做的还可以,在第二个部分的时候,它现在给的方案还不够好。

王晟:我觉得对第一个部分来说呢,其实是我们不知道AI做的好坏,这里面有一个悖论,如果一个问题啊,比如说我说开发一个治疗癌症的药物,我如果知道答案,那这个问题其实我没有必要去研究了。

所以我们真正在意的问题都是不能被benchmark衡量的,都是没有答案的。所以我们在意的每一个问题,生物医学AI for Science的问题,最后都需要去湿实验去验证。

干实验就是所有的预测,所有的分析都在计算机中模拟。湿实验呢,就是我们需要在真实的一个实验室,一个房间里,通过试管,通过培养皿,对老鼠细胞等进行一些操作。所以这就是计算机之内和计算机之外能达成的区别。

我给AI出一道题,我是不可能知道答案的。GPT给我一个药物的分子式,说这个能治疗癌症。Claude给我另一个分子式,我都得去做实验去做这个实验。所以在做这个实验之前,它不仅是说给我个分子式,它还要有具体的一个实验的计划,怎么样能够合成这个分子式?这个小分子应该怎么储存?我应该以怎么一个周期给老鼠使用?这些特别细节的东西是现在AI模型都做得非常差的。它能够生成一个分子式,因为世界上有很多这样的数据,但这个分子式怎么合成?怎么给老鼠用这个药等等,这些他们都做得不好。这些其实是更重要的。

泓君:后者现在你觉得我们放眼现在的大模型,在设计一个实验上,大概解决了设计实验的多少的比例?就完成度怎么样?

王晟:完成度是可能只有30%,很多时候是需要人类的专家去来给它修改。在设计实验这个领域呢,是专业知识需要的特别特别深入的。这个领域的一个教授可能也不知道,需要专门针对这个方向做过很多实验的技术人员,才能够设计一个高效的,成功率很高又特别可行的实验。

还有就是每一个实验室,器材或者设备都是不一样的。Astra这种AI模型,它没法根据这些设备器材来针对性地设计实验。我觉得它缺乏的是对现实世界中资源的利用、协调和使用的能力。这也是我们现在想要对模型进行改进的。

泓君:所以我们真的要让这些大的模型在AI制药上有所帮助的话,它还是要配备自己的实验室的。

王晟:我觉得是一定要配备实验室的,因为现在的通用模型已经很厉害了,配备实验室它可以有自己的验证,可以有自己的数据积累。现在AI在做这种药物发现,还有一个瓶颈呢,就是它验证的周期很久,我设计了一个分子,然后这个分子我拿老鼠做个实验,不可避免就要花几周,因为老鼠有新陈代谢,对这个药物进行一些反应。这个几周的时间,可能这个模型已经进化到下一代了,AI模型都进化的比我这些真实实验要更快。

所以我觉得这种前沿要做AI for Science的研究室呢,它需要有一个湿实验,而且呢它要对这些实验室进行改造,让这些湿实验能够更好的配合AI。比如说我一上来就把所有的细胞啊什么都准备好了,前置条件都做好了,有了AI预测之后,立即把那些小分子放进去,能够把闭环走得更快,而不是说分开。

Anthropic的分子生物学实验室 图片来源:Anthropic YouTube

泓君:AI从设计一个分子结构,到最后你的整个的干湿实验做完,达到临床一期的时间周期,大概多长时间?

王晟:一般我们先做细胞和老鼠上的实验,几周就可以做完。之后会做一批比如在猴子这种灵长类动物的实验,这个至少要4个月的周期,有时候我们会做两次,那就是8个月了。作为一个AI制药的公司,我们不一定会推进到人的实验,会把它直接授权给大的药厂,这笔授权费也是非常可观的,一般都是1000万美金以上,甚至可以更高。大的药厂它有一个病人的网络,可以更好的收集病人,做针对性的人体实验。所以我们一般都是走到猴子实验结束,那周期可能在6个月到12个月。

泓君:所以要验证一个药物,它花的时间是远比AI设计一个药物更久的。我们说整个AI它已经很聪明了,它在数学领域发展很快,是因为数学它在很多的环节上,是可以被验证的,不需要做实验。那在生物学上,AI给你真的设计了一个新的分子、新的药物,你怎么去确定它的设计是对的呢?

王晟:我觉得这个就是最大的难点,这也是AI能够在数学上做出很大的成就,去攻克千禧年猜想。但在生物医学上呢,其实到现在也没有一个说是AI完全开发的药物的一个根本原因就是,现实世界的反馈太慢了,而且这是受限于自然规律,一个老鼠、一个猴子就需要那么久的时间。

在上一波AlphaFold的时期,有很多AI药物发现的公司,雨后春笋一样冒出来了。那时候还是大模型前,但是那些公司大部分后面都没有成功,就是因为他们还是以AI设计和发现药物为主,即使能够把AI设计一个分子式的周期从半年提升到几天或者是几小时,但之后还是会被后期的真实的老鼠人体实验给限制。

所以我觉得这是一个核心的问题,如果能够把这个问题解决,AI在生物医学制药上的爆发就会和AI解决千禧年数学问题这样,会有一样的非常大的一个爆发。我觉得这问题是不可能从根本上解决的,但是我们可以加速现实中的反馈,这样来间接的帮助我们解决和提升AI在上面应用的效果。

泓君:我听说AlphaFold 3它是把它的所有的研究,包括它的数据都开源了。它的开源也带来了一波生物制药公司,包括做这种垂直模型、做工具的公司崛起。因为它开源了以后,就相当于你这个行业,它就类似于机器人行业Pi开源一样,它有很多的底层的基础设施已经ready了。

王晟:我觉得它的开源是非常重要的,在它这些工具开源之后,对社区最好的帮助就是大家更重视数据的积累了。它虽然开源了,但是一些垂直科学AI公司,它可以利用自己积累的数据来维护自己的护城河。其实这些数据都是非常非常珍贵的,一条数据几万或者几十万美金,因为它都是会在真实的老鼠啊、人类上做实验的,不仅是这些实验成本高,而且实验的周期也很久,所以反而是开源之后,这些垂直的科学公司,它会更具备优势了,所以这是它对公共资源的一个贡献吧。

泓君:那这样来看,是不是生物医药界可能也会未来会兴起很多的数据公司?反正你模型负责给想法,我就成立一个实验室,就专门负责验证,它可能也是一个很好的商业模式。

王晟:我觉得这是一个非常好的商业模式。现在那些AI数据的价格,比如说买一道奥数题都要几千美金,Terminal-Bench(终端任务基准)一道题也会要几千美金,现在新出的Terminal-Bench Science,那上面的题也会是一个高价值的题。我觉得这些题还仅限于计算机里面的操作,未来如果是有真的生物真实世界数据,那个价值会非常高。

还有一个很高价值的方向,就是搭建一个能够帮助AI很方便的去做真实生物实验的接口。现在有个公司叫Adaptyv Bio,它是专门给Anthropic合作的。Anthropic生成一个AI的预测,它以MCP的形式就立即开始做实验。它刚刚融资了4000万美元。

我觉得这样的公司会越来越多,以后每一个湿实验的公司都会用这种MCP、API的形式,直接接到AI大模型里面,这样来给AI大模型直接进行服务,这样当中很多人的沟通成本都会减掉。所以这当中就又回到我刚才说的问题,最重要的就是AI自己知道要做什么实验,怎么设计这个实验,湿实验的公司能够和它进行配合。

泓君:现在像OpenAI,还有Anthropic,哪些我们看到的前沿模型研究室配备了自己的湿实验室?

王晟:Anthropic和Adaptyv Bio是明确合作的,它最近出了一个比赛,邀请大家来做一个Anthropic定义的蛋白质设计问题。它会赞助Adaptyv Bio这家公司来为大家做湿实验的验证。所以Anthropic最近定义的比赛也是说最后以湿实验的验证为最后的标准。

我也听到很多消息,Anthropic自己在构建湿实验的团队,包括他招的一些人也都是有湿实验背景的。所以我觉得这是未来一个趋势。前沿实验室如果是真的想做高价值发现,不可避免的是要有自己的湿实验实验室。

泓君:你觉得在整个的模型对制药的影响上,对你来说啊,几个比较大的节点是什么?哪些基础模型能力的提升会让这个行业一下子就有一个质的飞跃或者提升?

王晟:现在我们的提升还几乎是取决于Coding能力的提升。Biomedical上这些Coding任务,虽然那些benchmark上还没有达到满分,但我个人理解已经是几乎可以认为是解决了,因为它已经比人做的要好了。所以Coding能力的提升,就会把生物制药这些dry lab(干实验)上的能力的提升都给解决了。

还有一个问题就是,生物医学的数据特别的大,特别的复杂,每个人的数据都可以达到两个T。那么如果未来的模型还需要提升的话,就是这一块,对这种两个T的数据的高效的处理理解,这是一个非常重要的领域,也是一个非常大的一个机会。

泓君:您刚刚提到,您觉得现在AI在一些能力上已经超过您了,因为您已经算是人类很顶尖的科学家了,也是做学术研究的,我可以理解它已经不是超越平均智商了,而是最顶级的这些智商。那在这个环节中,你觉得它未来给你们这些前沿科学家带来的问题是什么呢?比如说它做的东西,你们很难去验证了,会有这样的情况存在吗?

王晟:验证的话也是要靠做实验的验证,如果一个问题已经定义得很好了,有一个明确的测试集,明确的输入,要知道解决什么样的问题。那AI解决这个问题的能力会比我强。那么人类科学家更多可以做的事情呢,就是定义哪些问题AI去解决。所以我觉得未来AI在生物医学领域的趋势,不再是解决问题、设计模型了,更多的是设计benchmark、设计评估的方法、定义一些重要的问题去解决。

还有,生物医学是关系到制药或者治疗病人这些直接和人打交道的,所以很多时候还是需要一个科学家参与在其中,就像飞机就算能自己飞,我们也希望有个驾驶员在上面。AI能自己看,能自己治疗,出诊断书,我也希望一个医生真的肉眼看一下我的报告。

所以在科学发现这种一下就会投入很多钱、很多时间的重大决策上,还是需要一个人类科学家去一起把关,一起去判断这个问题的价值。如果纯粹是解决问题,我觉得AI已经会比最强的人类科学家都要强了。

泓君:您刚刚有提到,现在整个benchmark它的定义是有问题的。那你觉得未来它的benchmark应该会怎么样去定义?它会朝什么样的方向去演进呢?

王晟:我觉得未来首先我们要设计那些生物医学的题,它是没有上限的,它是一个不可能被刷爆的。譬如说现在最顶尖的药物能够把30%的癌症细胞给杀掉,那么AI能不能做更好的药物,能够把40%的癌症细胞杀掉?这样让AI不停的设计,能够有一个没有上限的方式来做这个任务。

我们未来要设计的还是这种比较宏大的,很难有上限的,譬如说怎么样把人类的寿命提升,这种没有上限的任务能够让AI持续的解决,我们可以持续的积累数据,把一个特定问题的数据给积累得更多。

泓君:我看Claude最近有一个新的成果,就是他们发现了一种新酶系统ART,它有类似于CRISPR-Cas9的基因编辑的工具,但是它最后有没有被验证,还不太确定。在生物医药领域它已经开始有一些突破了,我们看到这些突破它的苗头是什么?

王晟:我们观察到这个突破几乎就正比于生物医学实验的周期,周期越短,反馈越快。大家其实在过去的几十年中都积累了好多的实验数据,实验做得越快的领域,它模型就可以做得越好。譬如说Anthropic这次做的一个比赛,也是对酶的一个设计,这就是实验特别快的一个领域。未来像蛋白质酶这些可以做快速实验的,我觉得都会有很快的一个迭代。但如果譬如说我们要做一个衰老,或者研究一个罕见病,这种特定领域的长周期的问题,那我觉得模型的进展还是会很慢的。

泓君:酶跟蛋白质它带来的是哪些领域的变化?

王晟:理论上蛋白质是万能的,减肥、癌症治疗、所有的病,理论上蛋白质都可以通过一些方式引导我们制药来治疗。酶是一种催化剂,更多是对各种工业化工的过程进行一些加工和加速,它的商业价值非常大,而且可以快速落地。那蛋白质呢,如果我还是要涉及药物,最后还是不可避免要做人体实验,还是有一个较长的周期。

普通人还有“蒸馏”的价值吗 ?

泓君:我也在跟很多模型的研究员去聊,很多前沿模型实验室的研究员就说,其实很多普通人他现在可能就连蒸馏的价值都没有了,这个话听上去很悲哀,是不是现在整个训练的信号也正在转向像专家数据和可验证环境,大家同意这个观点吗?

许华哲:机器人领域这很显然不是这样的,机器人领域每个人都是生活的专家,你擅长做饭,我擅长叠衣服,他擅长走路,他擅长跳舞。当然再往后走也会经历这样的一个阶段,也许一年两年后,必须要是一个舞蹈专家,或者必须要是一个Gordon Ramsay这样的大厨才值得被蒸馏。

王晟:如果知识被蒸馏的话,那确实现在AI的知识更全面,单个科学家肯定是比不过的。但是有一些科学发现,一些长期投入还是需要科学家或者工程师在那边支持背书,所以这方面是AI替代不了的。

同时也有一个反向蒸馏的问题,我天天也在蒸馏AI,尤其我们做AI for Science交叉学科的,很多东西我不知道,我就可以快速的向AI学习,学习之后我获取知识的速度也快,有时候有一些新的想法,新的创意,我可以做更好的一个科研成果,所以我觉得这是一个互相蒸馏的过程。

另一方面呢,如果从我们医学这个特定领域来说,人的作用永远是非常大的,人不仅是解决问题,人还可以定义问题。比如说有一些新的疾病,或者人想要活到200岁,活到500岁,这些问题都是源源不断的。然后每个人会有自己不同的身体状况,不停地提供给AI新的问题,所以普通人绝对不会被AI所取代。

朱哲清:从蒸馏的角度来说,因为我们现在的智力或者说模型的能力还是在非常大的模型,可能就是死记硬背了很多很多的知识在里面,以及一些know-how也是在训练当中硬加进去的。比如说你在优化一些benchmark呀,在推进固定的一些落地场景上面,你会做很多的overfitting(过拟合)的一个状态。在这种情况下,其实目前我们overfit的领域可能都还不够,有很多很多的领域值得被overfit。

我们现在都说,可能模型已经到了通用智能的这个级别,但是从我们目前在已经overfit的场景上面来说,可能没有到那么通用的状态。后面如果我们要真的做到通用,可能还要跳出蒸馏每个场景,进入到模拟一个人从零开始学习的这么一个状态。从这个角度来说,我们其实需要蒸馏的能力不在于说我能不能把这件事情做好,而是蒸馏人是怎么学习,从零开始怎么比人学得还要快。

泓君:今天很难得啊,我们是把三个不同领域的,我觉得做得好的创业者跟学者请来了,大家要不要说一下,现在在你们领域里面,你自己最关心跟关注的一个问题?

朱哲清:我们现在最关注的问题,其实就是目前硬件上面,全世界存储很有限,内存非常贵,显存非常贵,很多人又担心,是不是把所有的数据都上云了?如果说未来我们认为所有的计算和算力会被铺开,每个人都会有自己的算力,每一家公司也会有自己的算力。算力不再集中于只是在数据中心当中,我们是不是可以想象到,所有人都可以有自己的算力,可以运行自己的模型。这模型不一定说要做到最大,那我们能不能通过这些模型来解决生活当中百分之八九十的问题?解决现在AI不能够完全无限量普及的这么一个问题?

我其实还是同意未来模型需要往更大、更强发展,比如说AI for Science上面,我可能需要一个非常高度很高的模型。而在正常的,比如说企业工作、个人生活当中,你可能需要一个广度很高的模型,这个模型不需要很大。那这个是一个结合的问题,如果做好正确的结合,其实是可以解决目前的硬件需求和电力需求的瓶颈的。

许华哲:从机器人角度,我们最关心的肯定还是零样本的泛化能力。之前的机器人其实有两条路,一条是部署,一条是泛化,这两条路其实有一点正交。部署的话,有点像是AI赋能上一代的机器人,我在工厂里面的机械臂,原来可能是开环地拧螺丝,开环是指我不拿反馈。现在我有了AI,我可以闭环地拧螺丝,或者闭环地去上货。但是这件事情从我的视角来看,也还是有点逆时代的,你仍然需要5个博士水平的人在工厂里面睡3个月,去把这个机器人的稳定性啊、速度、是否要定制末端夹爪,这些事情全都解决。

但是今天我们聊Astra,我觉得最终我们还是希望是一个通用机器人。它零样本的可以做快速部署,这个部署应该是5个任意的、不用非常强的人放在那,这样的零样本泛化肯定是有冗余,这样的冗余我们是否可接受?我觉得是可接受的,在这种情况下,能否有一个足够好的、快的零样本泛化的模型,仍然是机器人最主要的追求。

泓君:你觉得机器人离那一步还有多远?

许华哲:我觉得2028年初会是一个通用机器人比较开始真正实用的时间节点,从现在开始可能18个月后,大家可以在家里面以语言的形式去让一个机器人做家里面90%的事情。

泓君:这个预测是相当激进的。

许华哲:如果你玩了Astra,如果你下个月也许可以玩我们的模型,应该觉得这个预测还是比较合理的。

王晟:AI for Science,如果真的要有突破,最重要的就是AI对真实世界的理解,一个真实世界资源的运用、分配等等。就像我们研究科学,本质就是研究真实世界——物理学研究宇宙,生物研究生命,化学研究微观世界。

但这个不是说我设计一个机器人去取代人类、自动地做实验,而是说AI知道:根据现在我实验室里有哪些资源,我应该让这个机器人、或者让这个人去做一些什么事。比如说以后我在prompt AI的时候,不是跟它说“给我设计一个药物能治疗癌症”,而是说“给你10万美金,你给我设计一个药物,并且我有这些实验可以做”,比如做一个老鼠实验要2000美金,做一个人体实验可能要一个怎么样的周期。

AI能够真的这样plan真实世界中超级复杂的任务,这些都是它的语料中很难见到的。这可能需要一个新的范式。就像现在我们都是人来用AI,人来研究怎么写好的prompt,可以把AI指挥好,怎么写好的prompt,怎么搭好的agent;未来可能是AI要写出清晰的、可执行的指令,是AI来prompt这个真实世界——非常高效,非常清晰,没有歧义。人或者机器人可以根据这些指令去利用现实世界中的资源,高效地把这些事情完成。

就像以前我们都说判断AI能不能遵循人的指令,未来我们可能要的是指令生成——它能不能生成更好的指令,帮助我们调动现实世界的资源。甚至我们还会对现实世界进行一些改造:未来的一些实验设备仪器,它不是给人看的,不是给人用的,是让AI用的。我们现在比如说拍X光、拍CT,还要合成一下图片,为了让人类医生能看;未来可能直接就拿出底层那些波形或者信号,直接给AI看就行了,都可以跳过生成图片那一步。

所以这是我认为最重要的,就是AI能够更好的走到真实世界中——无论是通过机器人,还是一个真实的人类——但它都要知道怎么样去利用真实世界的资源,来解决这种超难的问题。

本文来源:硅谷101

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。
文章标签智能体机器人

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。