本文来自微信公众号: InfoQ ,编译:褚杏娟,作者:褚杏娟,原文标题:《2万亿美元估值靠什么撑?Anthropic 核心技术负责人:蒸馏会毁掉前沿研发,中美 AI 竞赛不会单边暂停》
Anthropic的两位关键技术负责人Nicholas Marwell和Sholto Douglas在播客中谈到的,在一个多月发布后的期间就已经切实发生。
这期间,Anthropic披露了自己的IPO申报文件,再次把自己的豪赌摊到了华尔街面前:2025年,Anthropic营收接近46亿美元,同比增长约12倍,但经营亏损仍超过80亿美元;与此同时,公司已经为未来的云、算力和基础设施签下至少5180亿美元的长期承诺。如果上市顺利,其估值最高可能超过2万亿美元。
模型正在以几个月为单位快速贬值,厂商们也在以前所未有的规模购买未来的“智能”。Anthropic甚至连融资和采购本身都开始缠绕在一起。Broadcom同意向Anthropic提供最高420亿美元贷款融资用于基础设施支出,而Anthropic又承诺未来5年投入1252亿美元租用TPU算力。
这背后的逻辑,对应了Nicholas Marwell在采访中给出的内部判断:每增加一个边际单位的智能,它创造的经济价值,都可能比前一个单位呈指数级增长。
“Tab自动补全已经几乎不值钱了,但它之后出现了agentic coding;智能体式编程之后,可能是能够独立完成软件工程工作的AI;再往后,是数学发现、生命科学、疾病治疗,乃至把数百年的技术进步压缩到几十年里。旧能力会迅速商品化,但只要智能前沿继续移动,最前沿的那一点能力反而可能变得越来越昂贵。”这也是为什么一家去年只有数十亿美元收入的公司,敢提前签下数千亿美元算力。
然而,这份IPO文件同时展示了Anthropic身上的另一重矛盾。
它一边向资本市场描绘AI比工业化、电力和互联网更加深刻的经济变革,一边又在风险提示里反复警告:越来越先进的AI可能带来“灾难性甚至生存性风险”,模型可能出现抗拒关闭、隐藏信息乃至其他难以预料的自主行为。
Anthropic正在向投资者讲述一个非常特殊的故事:这项技术可能极其危险,所以我们必须认真控制它;但它又可能极其重要,所以我们不能停止向前。这种近乎极端的乐观与警惕,也贯穿了Nicholas Marwell和Sholto Douglas与主持人Joe Lonsdale的这场对话。
两位Anthropic技术负责人谈到了未来几年就可能到来的AGI,谈到AI为什么会从程序员的助手变成真正的“员工”,与此同时,他们也毫不避讳另一面:失业、生物安全、网络攻击、开源模型的能力扩散,以及中美之间无法轻易暂停的AI竞赛,都可能成为接下来几年最现实的风险。
他们也谈到了AI编程过去18个月发生的变化、为什么下一阶段可能属于“通才”、Anthropic对开源和监管的真实立场、为什么反对模型蒸馏,以及一个不怎么被提及的问题:如果前沿模型几个月就会贬值,Anthropic凭什么还能成为一家价值万亿美元的公司?
我们翻译并整理了这次播客访谈,在不改变原意基础上进行了删减,以飨读者。
太长不看版
Q:你们觉得AGI还要多久?
A:未来几年里,很可能会出现能力达到或超过所有人类的模型。它能够完成人类在电脑上可以完成的所有事情;等机器人技术足够先进之后,也可以完成人类在物理世界里能够完成的所有事情。
Q:现在处在AI最前沿,是什么感觉?
A:18个月前,我基本还是一行一行手写所有代码。加入Anthropic几个月后,我开始变成“指导模型”写代码,每隔几分钟告诉它下一步做什么,但我还是得频繁检查,因为它会犯错,也会跑偏。
而现在,我可以直接让模型独立完成一天、甚至两天的工作,并真正推动项目进展,感觉就像多了一个初级团队成员。仅仅18个月,我们就从“必须一直让人盯着的工具”,变成了“很像一个初级团队成员”的系统。
Q:模型真的已经开始做出人类以前做不到的东西了吗?
A:到目前为止,大部分模型开发,其实还是在让模型能够完成“人类本来就已经很擅长完成的任务”,但现在开始出现了一些不同的东西。最近数学领域的一些结果就是例子:人们开始尝试用模型去推动人类智能和人类成就的边界,而不只是提高已有工作的效率。现在真正不同的是,模型开始把不同的人类想法组合起来,从而形成以前没有出现过的新想法。
Q:除了代码和数学,还有哪些领域最值得期待?
A:未来大概6到24个月,我最兴奋的就是生物学。模型会开始像它们今天影响软件工程一样,真正影响生命科学。AI会成为生命科学领域最重要的技术,至少在我们这一代人的有生之年是这样,甚至可能是有史以来最重要的技术。
Q:我们是不是现在就该多建一些实验室?
A:我觉得是。我现在甚至更担心,我们有没有足够的物理基础设施和实验室基础设施去承接这些能力,而不是AI本身能不能提供足够有用的智力能力。
最直接的一个维度当然是:到底有多少实验室空间。但除此之外,还有实验室质量的问题。美国现在很多实验室基础设施的质量指标,其实明显落后于中国这样的地方。
Q:如果现在刚毕业,未来几年应该怎么规划职业?
A:如果技术扩散需要一段时间,那么未来10年,在很大程度上会属于通才。过去,一个人获得优秀职业发展的方式,通常是掌握一套很有价值、很有市场的专业技能。但未来每个人都可能相当于拥有一家千人公司的能力,那真正重要的会变成:你能不能判断什么问题值得解决?什么事情能让你的社区变得更好?所以“选择问题”本身,可能会成为最核心的能力。
Q:这里面最糟糕的情况可能是什么?
A:我们主要担心几个大类风险。其中一个就是失业,还有一些更直接、更近期的风险,就是生物风险和网络安全风险。这些事情不是遥远的未来,而是现在正在发生。
Q:网络安全最后会更偏进攻,还是更偏防御?
A:现在网络安全和生物领域都更偏攻击占优,但我认为未来两年里,网络安全会逐渐变成防御占优。你可以提前攻击自己的系统,把防御先做起来,把所有漏洞都补掉。最后,我们可能进入一个网络安全程度高得多的世界:每个人都能提前获得足够强的智能,先弄清别人可能从哪里攻进来,然后把这些口子堵住。
Q:Anthropic到底怎么看开源?
A:至少从我个人来说,我非常支持开源。我们真心认为,让开源存在于这个世界是一件非常好的事。我自己当年学习机器学习,就是靠开源模型学出来的。但我们也认为这里面确实存在很多风险,而且未来风险会越来越大。
所以我们的立场是:应该设定一些阈值,决定社会整体到底愿意把多强的能力直接释放出去。无论封闭模型还是开源模型,都应该满足同样的安全门槛。除此之外,人们想怎么做,都应该有自由。
Q:如果中国不会停,美国会自己放慢吗?
Sholto Douglas:至少在任何我们能够接受的情形下,都不会出现“美国放慢、中国继续前进”这种结果。任何真正的“放慢”方案,都必须是完全协调的,而且我们必须能够真正信任每一个参与方都会遵守。基本不存在我们单独让美国放慢的情形。
Q:为什么你们这么反对蒸馏?
A:蒸馏不是一种能够把你推进到下一代前沿的方法,它只能复制当前的前沿。真正进入下一代前沿,需要巨额的前期资本投入。未来一次训练运行的成本可能是100亿、1000亿,甚至1万亿美元。如果任何人都可以只花很小一部分成本,把你做出来的东西复制走,然后一两周内推出一个复制品,那他们在经济上反而会比你更有优势,因为他们完全不需要承担你那笔巨大的研发成本。
Q:模型半年后就不值钱了,这还是个好生意吗?
Nicholas Marwell:稍微落后于前沿的那一侧,会不断商品化;但真正的领先边缘,价值反而会越来越大。我们经常把它称作“智力的指数级经济回报”:你每增加一个边际单位的智能,它所产生的价值,可能都比前一个单位呈指数级更高。
Q:那最后,我们到底在争取什么?
A:原本按照今天的人口规模和科研速度,可能需要未来几百年才能发展出来的技术,有机会被压缩到未来10年、20年里完成。你可以不断提高、甚至有可能让人类的智力生产能力和物理生产能力翻倍,最终真正进入一个后稀缺世界。
在那种世界里,几乎所有东西的成本最终都会压缩到能源成本。那会是一个我们治愈了所有疾病的世界,甚至很可能已经解决了衰老和寿命问题。地球上的每个人,都能获得一种今天连最富有的人都无法享有的丰裕程度。这就是我们想争取的世界。
18个月,模型变成了“初级员工”
主持人:今天非常高兴请到Anthropic的两位优秀技术人才。Nicholas,你是技术团队的核心成员之一,参与领导强化学习科学;Sholto,你也是强化学习方向的技术负责人。你们分别加入Anthropic多久了?
Nicholas Marwell:我刚过3年。
主持人:但这家公司本身才成立多久?大约5年?
Nicholas Marwell:差不多5年。
主持人:太不可思议了。它现在已经成了全球最重要、规模最大、增长最快的公司之一,却只成立了5年。现在的加州确实是个让人头晕目眩的时代。我们今天在纳帕录制,谢谢你们过来。先从你们的背景聊起。Sholto,你在哪里长大?来自哪里?
Sholto Douglas:我在悉尼长大。大概在2020年,我看了很多博客文章和论文之后,非常确信规模化(scaling)这条路线是有效的,而且总体上我们正朝着在2020年代实现通用人工智能(AGI)的方向前进。
当时,我白天正常工作,晚上和周末拼命做研究,希望证明自己能够达到DeepMind、Anthropic、OpenAI这类公司要求的研究质量标准。
主持人:你大学学的是计算机科学吗?
Sholto Douglas:本科读的是机器人学,2019年毕业。之后基本上一直在自己做研究,后来在DeepMind工作了2年,过去18个月则在Anthropic。
主持人:Nicholas,你来自哪里?
Nicholas Marwell:我其实就是旧金山本地人。现在做人工智能的人里,旧金山土生土长的反倒不算常见。
我成长的家庭环境对我影响很大,尤其是我父亲。他职业生涯的前半段做的是非常传统的商业工作,但到了人生后半段,也就是我成长过程中更关键的那几年,他找到了另一条自己很感兴趣的路:思考怎样回馈社会,尤其是怎样利用技术去做这件事。
所以我在思考自己未来要做什么时,一直在找一种能够同时满足两件事的工作:一方面,让我获得成为一个真正有执行力商业人士所需要的能力;另一方面,又能把这些能力用于创造社会价值。
Anthropic对我来说恰好是一个非常完美的交汇点。当时我已经开始非常担心人工智能安全问题,而我那时其实还在Thrive Capital驻场,做的是完全不同的事情。Anthropic的机会几乎是突然出现的,我当时就觉得“这可能就是我应该去做的事”。
主持人:自从你们加入Anthropic之后,我觉得它已经成了人工智能公司里最重要的一批。你们官方不公布太多数字,但外面会不断有数据流出来。我们现在录制是8月,外面流出的数字说,Anthropic的年化收入运行率已经超过800亿美元,而且增长还非常快,领先OpenAI,也领先很多其他公司。现在内部最让你们兴奋、又能公开谈的事情是什么?身处这个最前沿是什么感觉?
Sholto Douglas:我最容易讲清楚的,是编程体验到底发生了多大变化,因为这是我们最直观感受到进步的地方。
18个月前,我基本还是一行一行手写所有代码。加入Anthropic几个月后,我开始变成“指导模型”写代码:每隔几分钟告诉它下一步做什么,比如写下一个函数。但我必须频繁检查,因为它会犯错,也会跑偏。
而现在,我可以直接让模型独立完成一天、甚至两天的工作,并真正推动项目进展,感觉就像多了一个初级团队成员。仅仅18个月,我们就从“必须一直让人盯着的工具”,变成了“很像一个初级团队成员”的系统。
主持人:所以我们现在坐在这里聊天的时候,那些“初级团队成员”,也就是AI,还在替你工作?
Sholto Douglas:对,而且有好几个都在干活。
主持人:能大概说说它们在做什么吗?不用太具体,概括地说一下就行。
Sholto Douglas:就是和一些团队成员一起做各种强化学习科学相关工作。
Nicholas Marwell:我换一个角度回答。我觉得,到目前为止,大部分模型开发,其实是在让模型能够完成“人类本来就已经很擅长完成的任务”。我们真正获得的,是额外的杠杆:让人类本来就认知上能够完成的事情,做得更快、更大规模。
比如开发一个软件,人类开发团队在同样时间里本来也能做出来,模型只是让这件事效率更高。但我认为现在开始出现了一些不同的东西。最近数学领域的一些结果就是例子:人们开始尝试用模型去推动人类智能和人类成就的边界,而不只是提高已有工作的效率。
主持人:你是指最近那些数学成果?
Nicholas Marwell:对。最近出现了很多新的数学证明,有些问题是人类研究了很久、一直没有解决的,现在模型开始给出结果。
主持人:但其中一些例子看起来像是某个很聪明的数学家突然意识到,计算机已经强到可以暴力穷举一个人类没法暴力穷举的问题。它们还是很擅长某些特定事情,然后由人类拿来用。还是说,它真的已经在提出全新的理论?
Nicholas Marwell:至少现在,我不会说它已经在提出“人类根本不可能想到的想法”。但其实我觉得,大多数真正的进步和智力成果,本来就很少是那种凭空冒出来、完全无法追溯的东西。
当然有例外,但社会绝大多数成就,本质上都是把已有的点连接起来,在前人的智力成果上继续搭建。你刚才说,把不同的人提出的两个想法连接在一起,产生一个新的结果——这其实就是人类做智力工作的基本方式。
现在真正不同的是,模型开始把不同的人类想法组合起来,从而形成以前没有出现过的新想法。相比之下,再写一个新的Web应用(web app),很难说是在为整个人类创造什么新的智力成果。
模型或超人类,公司内部有人把AI“人格化”
主持人:硅谷以前从没见过公司以这种速度扩张。不是简单的10倍、再10倍,而是整体都在飞快变化。现在的感觉就像每过60到90天,都会冒出一家新公司,事情实在太多了。我觉得这是很多人的共同体验。而你们就在增长最快公司的核心位置。和以前的人生相比,这到底是什么感觉?接下来会去哪里?这种加速还会继续吗?
Sholto Douglas:我觉得Anthropic有一点非常好,随着公司的加速发展,我们自己的雄心也能够同步扩大。
18个月前,我们真的必须极端聚焦于code,先证明自己至少能在一个方向上做到全球最好。现在,公司的使命已经远远不只是“做一个很擅长写代码的好模型”。随着公司规模扩大、收入增长,我们终于有能力把更多拼图拼起来,真正开始推进那个更大的使命。
主持人:那我们多聊聊这个使命。我这周早些时候和另一位人工智能行业的资深朋友聊过。他的说法是:第一步,你得在代码和数学上做到最好;但下一步就会出现很多新的能力,模型可以在越来越多的人类技能上做到A++。你们的思路是不断引入更多新技能吗?还是说,从这里往后的使命到底是什么?
Sholto Douglas:我们一直以来的判断都是:未来几年内,实现AGI是可行的。
我们认为,未来几年里,很可能会出现能力达到或超过所有人类的模型。它能够完成人类在电脑上可以完成的所有事情;等机器人技术(robotics)足够先进之后,也可以完成人类在物理世界里能够完成的所有事情。
这会带来巨大的上行空间。它意味着今天全世界能够完成的智力劳动和体力劳动,都可以被成倍放大;原本可能需要几百年才能完成的进步,有机会被压缩到非常短的时间里。但它同时也伴随着巨大的风险。所以公司的真正目标,是帮助世界穿过这些风险,最终获得另一端的巨大收益。
主持人:我们稍微退一步,看看整个AI浪潮现在到了哪里。你刚才说,大概在2020年,你就意识到AGI有可能实现。我记得差不多也是OpenAI发布GPT-3的时候。今年早些时候我也和Dario聊过。按照某些指标,模型的一些能力几个月就能翻一倍。我们应该怎样量化这种进展?你刚才举的例子是,现在已经可以把AI当一个初级员工使用。除此之外,有没有什么指标,可以帮助大家理解未来几年它到底会变强多少?
Sholto Douglas:有很多评测,本质上就是给模型做考试。在这些评测上,进步速度非常快。
我不想老拿数学举例,但数学确实可能是最适合观察的领域之一。比如有一套由不同数学领域教授共同整理的问题集,模型一开始的成绩是0%,而仅仅过去一年,就提高到了40%、50%、60%以上。这个评测叫FrontierMath。
主持人:你需要一些可以证伪、可以持续迭代的东西?比如说,能不能测试它在Instagram上跟一个女孩聊天,然后看它有多大概率让对方愿意出来约会?当然,我已经结婚了,不是为了我自己。
Sholto Douglas:我们没有在这件事上训练过。
主持人:但这应该是个很有用的例子,尤其对我们在旧金山的一些朋友来说。
Sholto Douglas:模型大致有两种主要的改进方式。第一种,是在互联网上规模巨大的文本语料库上训练;第二种,就是我们两个人都在做的强化学习:让模型去解具体问题,然后检查答案是否正确。
你刚才说的关键就在这里。数学和计算机科学很容易这么做,因为答案往往能够明确验证;但恋爱、诗歌或者其他主观问题,就难得多。这也是为什么数学和计算机科学的进步速度明显快于其他领域。不过我们其实认为,把其他类型的问题也转化成类似框架,并没有想象中那么困难。
Nicholas Marwell:这里不仅有技术原因,也有一个社会原因。为什么数学和计算机科学先跑出来?因为最开始负责“制造智能”的那批人,很多本来就来自数学和计算机科学背景。于是当然会先在自己理解、也最感兴趣的领域里构建智能。
另外,还有一个很实际的原因:在训练模型时,你会花大量时间直接阅读模型做了什么,判断它到底有多强、还存在哪些问题、接下来应该重点补什么。对你自己就是专家的领域,这件事显然更容易。
主持人:你平时会把它人格化吗?
Nicholas Marwell:我个人不会。当然,有些人可能会,我相信Anthropic内部肯定也有人会。
主持人:人脑其实就是被这样“编程”的。我们的大脑里有一整套机制,会自动把眼前对象当成另一个人,试着镜像、推测对方的情绪,才能和他交流。进化给我们装进了很多这样的能力,让我们天然会把一个“智能”当成另一个智能。所以,如果你每天都在和模型一起工作,完全避免人格化也挺难。
Sholto Douglas:这可能也是当前一个很大的争论:到底应该把这些系统理解成“工具”,还是理解成“实体”。
我其实觉得,把它理解成一个实体,是很有用的框架。因为工具意味着你从头到尾都在直接操作它;但现在这些模型更像是,你把一个非常聪明的东西释放出去,在某种意义上让它进入世界,替你采取行动。正因为如此,把它当成一个实体来理解,很多时候反而更准确。
主持人:有没有哪些领域,我们其实应该让这种智能去做更多事情,但现在还没真正开始?或者说,哪些方向是你们现在特别兴奋、正在推进,未来会大量使用AI的?
Sholto Douglas:一个很大的方向就是生物学,对吧?
Nicholas Marwell:对。不过我觉得要先区分两个问题:一个是“模型今天已经很强,只是这些能力还没有被充分利用”,另一个是“我们最兴奋模型下一步会去哪里”。
如果说后者,那么未来大概6到24个月,我最兴奋的就是生物学。我认为模型会开始像它们今天影响软件工程一样,真正影响生命科学。而且不仅仅是被广泛采用,它带来的社会收益会非常分散、非常广泛,也会非常强大,比如治愈疾病、让所有人变得更健康,以及延长寿命。
主持人:长寿这件事有很多非常奇怪、非常前沿的研究。比如表观遗传学里,好像有很多机制和寿命相关,这些东西我们其实也只是过去20年、随着一些诺贝尔奖相关工作才开始理解。我们在湾区的很多朋友现在都有公司,已经有数十亿美元投入进去,研究怎么触发这些机制、怎么让身体的一部分重新变年轻之类。所以你觉得AI会成为这类进展的关键?
Nicholas Marwell:我认为AI会成为生命科学领域最重要的技术,至少在我们这一代人的有生之年是这样,甚至可能是有史以来最重要的技术。
而且我现在甚至有一个担心:真正限制我们的,也许不是AI能不能提供足够有用的智力能力,而是我们有没有足够的物理基础设施和实验室基础设施去承接这些能力。
主持人:这有点像3年前,我们其实就应该多建很多算力基础设施。现在是不是也应该有人开始大规模建设实验室空间,让你们以后直接用?
Nicholas Marwell:我觉得是,而且这里有好几个维度,最直接的一个维度当然是“到底有多少实验室空间”。但除此之外,还有一个问题是实验室质量。美国现在很多实验室基础设施的质量指标,其实明显落后于中国这样的地方。
我认为,这应该成为未来非常重要的一项社会基础设施工程:我们需要想办法重建美国的供应链和实验室体系,让它重新达到全球金标。
主持人:所以这可能会成为生物学进展真正的限制因素。
Nicholas Marwell:对。
未来10年属于“通才”
主持人:我们再退一步,从整个浪潮的角度来看。如果你是一个刚毕业的大学生,或者已经进入职场,但你不在Anthropic,也不在硅谷的中心,只是一个聪明、有野心的人,你应该怎样规划自己的职业?尤其考虑到你们认为未来几年会发生的事情。
Nicholas Marwell:我觉得未来可能出现几种不同情景。Anthropic有责任公开谈论自己正在带入世界的风险,其中一个我们确实非常担心的问题,就是失业。
但也存在另一种可能:这项技术扩散到整个世界所需要的时间足够长,比如要10年甚至20年。那在这种情形下,会出现非常多机会,你可以把自己的整个职业生涯建立在“帮助这项技术扩散、落地”这件事上。
我以前也和一些人聊过这个问题。我有个弟弟现在就在大学,也正好在想同样的问题。我觉得,如果我们进入的是这种技术扩散需要一段时间的世界,那么未来10年,在很大程度上会属于通才。
过去20年、甚至50年,一个人获得优秀职业发展的方式,通常是掌握一套非常有价值、很有市场的专业技能,然后依赖其他专业人士一起协作。但未来每个人背后都可能相当于拥有一家千人公司的能力。
这意味着,真正最重要的能力会变成:你能不能判断什么问题值得解决?什么事情能让你的社区变得更好?无论从商业价值、社会公益,还是其他角度,你都将拥有足够多的工具去推动改变。所以,“选择问题”本身,可能会成为最核心的能力。
主持人:你刚才说“有哪些问题值得解决?怎样让我的社区变得更好?”这和我看世界的一个底层框架其实很接近。
作为一个犹太人,有一种传统观念是:一周有6天,你要把自己当成在修复这个世界;到了安息日,也就是休息日,你暂时假装世界已经修好了。我觉得很多主要宗教里都有类似的东西。我的乐观就在于,我认为我们每个人身边永远都会有东西需要修复、帮助和改善,我们的社区也一样。除非你真的相信我们马上就会进入乌托邦,否则人总归会有事情可以做,对吧?
Nicholas Marwell:我觉得这是一个很乐观的框架。
因生物、网安的攻防失衡被嘲
主持人:我知道你们总体上是乐观主义者,也有很多非常积极的事情可以谈。但我还是想先聊聊那些担忧,因为很多人真的非常好奇。
在美国东西海岸这些地方,我们身边看到的都是特别积极的东西:朋友们比以前更快地创业,到处都是正向能量。至少我去旧金山、纽约,甚至在得州奥斯汀做的一些事情,都有这种感觉。但美国其他很多地方的人,感受到的可能完全不一样。他们觉得自己的生计受到威胁,很害怕。他们也不知道你们会不会是一群特别疯狂的人,最后拿着这种技术去征服世界之类。有没有一条你们自己也担心的、确实可能出现的坏路径?还是说,他们担心的路径本身就是错的?
Sholto Douglas:我觉得这些担忧完全合理。我们主要担心几个大类风险,但对于这些风险,我们总体上的判断是:如果未来几年采取正确行动,那么到了2030年代,我们仍然可能进入一个比今天好得多的世界。
其中一个我们已经提到的主要风险,就是失业。这个问题值得单独花很长时间讨论,包括为什么它是风险、我们认为应该做什么。还有一些更直接、更近期的风险,就是生物风险和网络安全风险。这些事情不是遥远的未来,而是现在就正在发生的事情。
主持人:这里以前也出现过一些挺烦人的事情。比如有人会嘲笑Anthropic,说你甚至不能问Claude“细胞里的线粒体是什么”。那当然很荒唐,你肯定应该可以问这种东西;你只需要确保它别去帮人造生物武器就行。
Sholto Douglas:对,这种问题当然应该允许。我们现在真正做的,是建立一整套基础设施,让我们能够有信心保证不会有人利用这些模型去制造生物武器。
Nicholas Marwell:生物和网络安全最困难的一点,是它们本质上都属于双重用途能力。网络安全最容易理解,比如我给Claude一个代码库,然后说:“请找出这里所有的漏洞。”我有可能就是这个代码库的所有者,想加强自己的防御;但我也同样有可能是攻击者,正在找进去的方法。
生物领域也有很多类似的双重用途特征。你可能在一个细胞里针对某个东西,99.9%的概率是为了杀掉癌细胞、治疗疾病,但也存在极小概率,你是在做非常糟糕的事情。
所以我们现在在做很多工作,目标就是让善意行为者能够正常使用这些技术,同时把恶意行为者挡在外面。我们的总体判断是:在我们还做不到阻止恶意行为者利用这些技术造成严重伤害之前,不应该直接把它们释放到外界。
主持人:而且现实里确实已经有人这么干了,甚至都不是用Anthropic的模型。我自己的倾向是:整体上如果世界拥有更多智能,那么更多人也能理解这些危险用法,并用智能去阻止它们。这里显然存在一个权衡。所以一个非常重要的动态,就是某个领域究竟是“攻击占优”还是“防御占优”。
现在网络安全和生物领域都更偏攻击占优。但我觉得未来2年,网络安全很可能逐渐转向防御占优。尤其如果所有人都能获得足够强的智能,用它来攻击自己、测试自己、把系统加固起来。
Sholto Douglas:没错。你可以提前攻击自己的系统,把防御先做起来,把所有漏洞都补掉。最后,我们可能进入一个网络安全程度高得多的世界:每个人都能提前获得足够强的智能,先弄清别人可能从哪里攻进来,然后把这些口子堵住。
所以我们现在做的事情,本质上就是提前干这个。我有个朋友以前就参与过五角大楼和银行系统的红队测试,是在对方主动邀请的情况下进去找问题。他们现在会用新的AI,因为AI在这方面真的非常强,所以所有机构都得尽快跟上。
主持人:攻防优势的轮转,是人类千年技术发展的核心规律。欧洲古代自由城邦依靠防御体系实现独立发展,直到火炮技术诞生,攻破了城墙防御,帝国格局取代了小城邦体系,技术彻底颠覆了攻防平衡。
我同意今天的网络安全确实严重偏攻击占优,已经到了大家应该害怕的程度。但从长期看,如果用得对,网络安全完全可能转向防御占优。我真正担心的是:这个世界里,会不会存在某些我们还没发现、但极度攻击占优的东西?举个我并不认为真会发生的极端例子:假设有人能够做出一种会自我复制的纳米机器人,它足够聪明,能把整个世界都“吃掉”。一个天才做出来以后,它自己复制,最后全世界都没了,我们都死了。
我再强调一次,我并不认为这真的会发生。但问题在于,我们是不是应该尽早利用智能,去找出世界上到底有哪些东西可能极端攻击占优?
Sholto Douglas:对。而且生物领域目前确实是非常攻击占优的。除非我们投入巨量工作,把整个世界改造成更偏防御的一方。
其实,我们知道有办法让世界在生物风险面前变得防御占优,但那可能需要数千亿美元级别的基础设施投入。在机器人技术能力还没有得到巨大提升之前,这件事很难变得经济上合理。可能要到2030年代,当机器人能力足够强、能够帮我们大规模建设这些基础设施时,成本结构才会真正改变。所以现在这个时期确实有点可怕:当前还是攻击占优,但我们想把它改造成防御占优。
主持人:那解决方案也许就是不要让这些能力过度保密,而是适度展示,让更多人参与。我自己的看法是,你希望有很多人都在用智能去挑战各类系统,而不是让某一个小团体秘密掌握所有能力。
Sholto Douglas:这一点我们非常认同。
回应Anthropic“通过监管获利”批评
主持人:Anthropic总体上还是一家很受尊重的公司。但任何公司只要开始成为“冠军”,都会有人嫉妒、攻击。我经常把这种情况类比成1990年代的微软。
有时候这些攻击纯粹就是因为你声望很高、发展很强;但有些批评也可能确实有合理部分。我有很多非常聪明的朋友,他们对Anthropic有一个印象:觉得你们在推动某种“监管俘获”策略,即利用监管来建立优势,他们觉得这不是好事。我很好奇你们怎么回应。
Nicholas Marwell:我觉得这里至少有两件事值得拆开说。第一个是最近伴随着开放权重讨论一起兴起的“监管俘获”叙事,第二个是一个更直接的问题:如果Anthropic真的是为了自身利益去做监管俘获,那它会不会选择今天这套做法?
先说第一点。如果一个人不懂里面的细节,那么他这样理解并不奇怪:开放权重是一种重要的公共技术资产,我们希望它继续存在;从某些角度看,它又和Anthropic的部分商业模式构成竞争,于是Anthropic就可能利用监管手段去打压做开放权重的人。而传统上,开源或者开放权重社区,确实经常规模更小、资金更少,也不太擅长在复杂监管体系里周旋。
但我觉得,今天开放权重的现实已经不是这样了。你看看现在真正推动、开发开放权重模型,以及提供这些模型服务的主体,大部分都是全球最大的公司。在美国,有Nvidia、Amazon、微软这样的公司在推动开放权重前沿,中国的实验室现在也越来越多是资金极其充足、甚至已经上市的机构。
所以即使这些模型本身开放权重,它们背后的公司也完全有能力应对监管环境。我并不太担心说,一套同时约束开放模型和封闭模型的监管,会不成比例地拖慢开放权重开发者,而对封闭权重开发者影响很小。
第二个问题更直接:如果你真的只想通过监管给自己谋利益,那Anthropic过去做过的很多事其实很难解释。一个很好的例子就是Fable,以及更早的Mythos。
从纯经济动机来看,当时Anthropic手里有一个遥遥领先、几乎是全球最强的模型。其他公司在那个阶段没有哪个模型真正接近它。Anthropic完全可以利用几个月的模型领先期迅速扩大商业优势,甚至让市场彻底怀疑其他实验室还能不能跟它竞争。
但Anthropic的第一选择,是先和政府一起合作,以政府能够接受的方式把模型部署出去。这是一个明显不利于公司短期经济利益的决定,却符合我们对于模型应该如何部署、如何监管的价值判断。
所以这不是一个“为了经济利益实施监管俘获”的策略,而是因为我们认为政府在关键技术、尤其可能带来严重危险的技术如何开发和部署这件事上,本来就应该扮演非常重要的角色。作为站在前沿的公司,我们也有责任确保政府获得足够信息,并真正参与这个过程。否则,谁来代表其他所有人?
主持人:这里也有个很有意思的问题。政府里当然有很多聪明人,这一届政府里其实就有不少。但也确实有很多人完全不知道自己在干什么,于是就会出现一些很荒唐的情况。比如这件事也许你们不方便说,那我来讲:按照我的理解,Anthropic本来可以提供更强的网络安全能力,让人们用于防御,但后来为了让政府同意模型上线,把这些能力削弱了。我觉得这是个错误。
Nicholas Marwell:我认为,他们是在尝试进入一种非常经典的美国式公私合作模式,而这种合作过去对美国一直非常重要。
美国的制度设计本来就不是要求政府必须在世界上每一个领域都成为最懂、最有能力的主体。我们真正应该建立的是一种优秀的公私合作关系,让政府知道怎样和Anthropic、OpenAI、Meta,以及任何其他相关公司互动,真正理解技术,然后决定应该怎样监管、怎样保护公众利益。
主持人:我认识的一些科技行业领导者会更加怀疑。他们会说:“Dario只是在吓大家,好制造更多规则、拖慢整个行业,因为他最后会成为少数掌握整个流程的人之一。”你们怎么回答?
Sholto Douglas:到目前为止,我们放慢自己的程度,远远超过我们拖慢任何其他人的程度。
事实上,你看看围绕Demis提案的讨论就很清楚。他提出让封闭模型提供商,包括OpenAI、DeepMind、Anthropic,进行一定程度的协调,建立明确的安全阈值,即模型必须达到某些安全标准之后,才能发布。这本质上就是我们在讨论“因为自己的原则而放慢自己”。
开源、蒸馏:模型半年就贬值,
万亿美元价值哪来?
主持人:对。那我们也应该把你们对开源的整体立场说清楚。到底是什么?
Sholto Douglas:至少从我个人来说,我们非常支持开源。我们真心认为,让开源存在于这个世界是一件非常好的事。我自己当年学习机器学习,就是靠开源模型学出来的。但我们同时也认为,这里面确实存在很多风险,而且未来风险会越来越大。
所以我们的立场基本是:应该设定一些阈值,决定社会整体到底愿意把多强的能力直接释放出去。比如,如果一个模型已经能够实施网络攻击,那么它强到什么程度时,社会还觉得可以直接公开?我们认为,无论封闭模型还是开源模型,都应该满足同样的安全门槛。除此之外,人们想怎么做,都应该有自由。
主持人:但如果中国还是会不断把各种模型直接放出来,那这件事还有必要尝试吗?同样的,我们会不会因为害怕风险而把自己监管得过头,结果中国没有这么做,最后问题照样出现,甚至他们还领先了?
Sholto Douglas:最理想的世界,当然是我们能够真正和中国合作,因为他们同样不希望自己的国家遭到网络攻击。
最理想的情况,还是双方能够在这类问题上合作。但这非常困难。未来几年最难处理的问题之一就是:AI能力还会继续快速向前跑,而这种速度会因为很多不同的原因会让人越来越不舒服,生物风险、网络安全风险、就业风险,都会让社会产生反弹。你现在其实已经开始看到类似情况,比如要求叫停数据中心)建设之类的声音。
问题在于,一旦进入这种状态,“暂停”就会变得非常棘手。除非你能够和其他参与方真正协调,而且能够相信所有对手方都会遵守同样的暂停安排。
主持人:有没有任何一种情形,是你们会选择让美国放慢,然后让中国继续往前?
Sholto Douglas:至少在任何我们能够接受的情形下,都不会出现“美国放慢、中国继续前进”这种结果。任何真正的“放慢”方案,都必须是完全协调的,而且我们必须能够真正信任每一个参与方都会遵守。基本不存在我们单独让美国放慢的情形。
主持人:有一些所谓开源能力,看起来其实来自别人把你们的东西“偷”过去。这件事如果发生在我身上,我肯定会很恼火。这个过程通常叫蒸馏。很多人会问:既然你们自己的AI已经这么聪明,为什么不能监控所有使用行为,直接把蒸馏堵住?为什么你们现在还阻止不了?
Sholto Douglas:这里其实有两个问题。一个是为什么我们反对蒸馏?蒸馏到底是好事还是坏事?另一个是如果你认为它不好,为什么你又阻止不了它?
先把第二个问题讲清楚。这本质上有点像猫鼠游戏。用户当然希望获得尽可能多的模型访问权限:他们希望检查输出,希望模型能在本地电脑上运行,希望看到思维轨迹等等。但你每多开放一点访问能力,蒸馏就会容易一点。所以这里天然存在一个问题:你的工具和产品到底能开放到什么程度,以及开放之后别人到底有多容易把模型蒸馏走。
Nicholas Marwell:再说第一个问题:为什么我们会对蒸馏不满?我通常这样理解:我们希望AI继续向前进步,因为模型越来越聪明,会给世界带来很多好处,但蒸馏本身不是一种能够把你推进到下一代前沿的方法。它只能复制当前的前沿,不能把前沿继续往前推。
真正进入下一代前沿,需要巨额的前期资本投入。先别说今天,未来我们会进入这样的阶段:一次训练运行的成本可能是100亿、1000亿,甚至1万亿美元。你之所以愿意支持这么大的研发投入,是因为训练完成以后,你还能把这个成果卖出去,通过商业回报覆盖前期成本。
但如果任何人都可以只花很小一部分成本,把你做出来的东西复制走,然后一两周内推出一个复制品,那他们在经济上反而会比你更有优势,因为他们完全不需要承担你那笔巨大的研发成本。所以,如果你真的希望前沿继续向前推进,就必须在一定程度上保护训练这些模型的人的知识产权和相应权利。
还有一点。很多人会把这件事和药物研发做类比。我反而觉得AI很有意思:保护模型不被蒸馏,能够获得很多类似药物知识产权保护的好处,却可以避免其中不少坏处。
主持人:先说好处。美国之所以能做出更多新药,一个重要原因就是我们保护知识产权。很显然,如果新药研发完成后我完全赚不到钱,我就不会投资研发。
Nicholas Marwell:没错。坏处则是因为这种保护,药物价格可能会非常高。但AI和药物不一样。药物研发里,知识产权保护可能持续十几年,甚至20年、30年;AI的情况完全不同,因为智能本身是一种极度通缩的东西,前沿能力的“保质期”往往只有几个月。
你可以想象,每隔6个月,最前沿的东西当然还是很贵,但6个月前还属于前沿的能力,已经会因为新一代前沿继续向前推进而变得极其便宜、极其普及。这很大程度上就是训练和技术进步方式本身带来的结果。所以我觉得,它保留了知识产权保护中很多有价值的部分,同时避开了过去一些制度里最糟糕的副作用。
而且你可以非常具体地看到这种趋势。比如Artificial Analysis上就有评测看板展示了同样的曲线:获得同等水平智能的成本,基本上每年会下降大约10倍。这种成本会一年又一年持续下降,是非常强的通缩效应。
主持人:而且这还是在没有依靠蒸馏的情况下发生的。
Nicholas Marwell:对,没有依靠蒸馏,只是技术自然进步本身带来的。
主持人:当然。从直觉上讲,别人直接把你的成果复制走,本来就不公平。如果所有人都这么干,整个体系也会被破坏。不过也有人会说:“这本身不就是一种很疯狂的商业模式吗?你的产品半年、一年之后就过时了。”看起来Anthropic要赢,就必须不断把前沿往前推。
Nicholas Marwell:对。而且我觉得,只有我们赢、前沿持续向前走,这个体系本身才成立。这是我们整体世界观里非常重要的一部分。
今天AI对全球经济的渗透,其实还非常少。所有AI公司的总收入,可能也就是1000亿美元以上,而全球经济是几十万亿美元规模。这还是假设全球经济不会因为这项技术而大幅增长的前提下,但我们认为它其实会显著增长。
所以你可以把这个市场想象成两条边界:稍微落后于前沿的那一侧,会不断商品化;但真正的领先边缘,价值反而会越来越大,而且是大得多。我们经常把它称作“智力的指数级经济回报”:每增加一个边际单位的智能,它所产生的价值,可能都比前一个单位呈指数级更高。实际上,我们已经看到这种事情发生了。
拿编程来说,最早对用户真正有用的那一点智能,其实只是Tab自动补全:你敲代码时,系统帮你补下一段;然后往上走一个边际单位,出现了agentic coding,你可以直接在终端里通过Claude Code让智能体完成一整套任务。这个能力的价值,比简单自动补全高出了几个数量级。
所以,即使后面的Tab自动补全已经完全商品化,甚至现在很难再单独围绕“自动补全”做出一家大公司,也没有关系。因为下一层新增的智能单位,本身就极其有价值。
这件事几年前对我来说其实非常反直觉。因为作为一个生活在现实世界里的人,我对其他很多事的经验都是指数增长不会持续太久。我当时会想,“好,也许AI未来几年非常有价值,但指数曲线总有一天会停”。要相信它继续增长,其实要求你非常乐观:你得相信我们真的能从Tab自动补全走到智能体式编程;然后还要继续问,什么东西会比智能体式编程更有价值?也许是治愈癌症。再往前,你可能得到一个真正完整的软件工程师,比任何人类软件工程师都更强,而且成本极低;你还可以拥有一个帮助处理各种事务的“高管型”智能体。
所以人们经常担心“最后会不会一切都被商品化?”,但等你真的走到“完全商品化”几乎可能发生的那一天,整个经济本身已经被彻底改写了。那时,几乎整个经济都会由AI完成,包括智力劳动和物理劳动。
主持人:而且那时的经济规模大概也会比今天大得多。如果Anthropic是推动这一切向前的公司,那它当然可能价值数万亿美元。
Nicholas Marwell:对。
主持人:好,那我们大家都发财了。开玩笑。显然,这里面还是有很多风险。你们当然也有很多担忧,但总体还是乐观的。那为什么还要这么快地推动这项技术向前?再提醒大家一次,你们到底为什么而战?
当一切都便宜到只剩能源成本,
人还需要什么?
Sholto Douglas:我们为什么担心这件事?因为我们最终会得到一种几乎可以直接替代人的系统:在人类能够通过电脑完成的所有事情上,它都可以做到和人类一样好;等机器人足够成熟之后,在物理世界里,它也可以做到人类能做的所有事情。
但同一件事也会解锁非常激进的正面提升。原本按照今天的人口规模和科研速度,可能需要未来几百年才能发展出来的技术,有机会被压缩到未来10年、20年里完成。
主持人:我其实已经在航空航天里看到一点这种迹象了。有些飞机设计工作的速度快了非常多。我感觉原本可能要到2040年代才能看到的先进飞机,未来几年也许就会出现,真的很酷。
Sholto Douglas:对。所以你可以不断提高、甚至有可能让人类的智力生产能力和物理生产能力翻倍,最终真正进入一个后稀缺世界。在那种世界里,几乎所有东西的成本最终都会压缩到能源成本。建房子的成本也会越来越接近纯能源成本。
主持人:那普通中产如果愿意,也能住特别大的房子。
Sholto Douglas:对,你真的可以拥有自己想要的东西。
主持人:你甚至可以跑到山里,盖一个50万平方英尺的东西,而且这都只是中产阶层消费。
Sholto Douglas:没错。就像今天我们拥有的很多东西,对几百年前的国王来说都完全不可想象一样。
那会是一个我们治愈了所有疾病的世界,甚至很可能已经解决了衰老和寿命问题。也就是说,地球上的每个人都能获得一种今天连最富有的人都无法享有的丰裕程度。这就是我们想争取的世界。
但它同时非常棘手。第一,你得成功穿过通往那个世界的危险阶段;第二,你得解决一个极其重要的问题:那个世界产生的收益到底应该怎样分配?你不能让结果变成巨大的不平等,不能让所有回报只流向在旧世界里恰好已经拥有资本的人。我们希望的是,如果一个人愿意,他也能分享那种丰裕。
所以这里会出现一个非常大的社会和政治问题:我们到底应该怎样共享这项技术带来的收益?
主持人:但也不能因为想象那个世界,就误以为我们今天已经到了那里,我们还远没有进入后稀缺世界。
Sholto Douglas:对,我们离那里还很远。但如果我们以正确方式持续投资这些技术,确实有机会到达。
过去4到5年里,我们每年投入AI的算力规模大约都在翻2倍到3倍。今年,所有超大规模云服务商加在一起,与AI相关的资本支出大概已经接近1万亿美元。一个很有意思的问题就是:这条趋势还能不能继续?明年会不会变成2万亿美元?2028年会不会变成4万亿美元?
如果大体保持这条趋势线,而且你还把更广泛的机器人产业也包括进去,那么到了2030年代早期,理论上可能会开始接近一种非常夸张的状态:人类的有效GDP能力开始翻倍。这个概念听起来当然有点疯狂,而且需要很多事情都顺利发生,但生产率增长确实可能开始真正加速。
主持人:而且我感觉,生产率明显上升甚至不一定要等到2030年代,可能未来几年统计数据里就会越来越明显。Kevin Warsh现在是美联储的新任主席。我不知道他算不算完全吃下“AGI叙事”,但他现在对AI提升生产率这件事非常乐观。所以我觉得,我们很快就会更明显地看到这类变化。虽然说出来很疯狂,但它可能还会继续加速,而且比现在更快。
Sholto Douglas:我最近看到一张挺有意思的图,是菲律宾的就业数据,结果就业反而上升了。
主持人:这个确实让我意外。我之前以为业务流程外包(BPO)会在那里受到很大冲击。很多工作本来就是比较基础的呼叫中心之类。
Sholto Douglas:但就业还在增长,而且软件工程就业也在增长。我觉得一个很重要的原因,就是人突然变得比以前高效得多。接下来值得观察的一条趋势就是这种“正向抬升”到底能持续多久。现在的情况很像AI让一个人能够做更多事,而世界上本来就还有太多事情没做,所以人和AI结合之后,企业反而需要更多人。
主持人:对,还有太多事情可以做。所以你现在观察到的是一个正向信号。
Nicholas Marwell:至少短期看确实如此。但我觉得我们不能因此过度说服自己,觉得以后自然就一定没问题。这个过程会非常具有扰动性,也会有很大的波动。现在正处在一个可能相对不错的阶段。就像Sholto刚才说的,你的员工仍然是企业真正利用AI的重要组成部分。
所以现在发生的是:你得到了一种赋能技术,它让每一个员工都比以前更有价值,于是你反而愿意雇更多人。但在某一个时间点,我们的判断是:这个世界会从“你必须把一个人和一个AI模型配在一起,才能把价值全部释放出来”,转变成“不再需要那个人”的世界。到了那一步,我们才会真正开始非常担心后续的社会影响。
主持人:这有点像国际象棋。过去差不多30年,最强的棋手往往是“人加机器”;后来机器直接把人碾过去了。只是你们认为在这里,这个过渡期会短得多。
Nicholas Marwell:对。过去3年,或者更准确说过去5年,我对AI进展速度有一个很大的认知更新。
我最早开始认真思考AI的发展速度时,其实也相信我们最终会走到今天这个位置,或者走到我认为一年后会到的位置,只是我以为要花更长时间。我之所以认为会慢,主要是因为我觉得为了训练这些系统,扩充所需要的数据,会是一件极其耗时间、也极其烧钱的事。
但后来出现了一个即使在我当时已经非常激进的AI发展预期里,也没有料到的变化:Anthropic、OpenAI这些公司的收入增长和业务规模扩张实在太快了。这突然让一个以前看起来完全不现实的做法变得可行:开发这些技术的人可以直接用巨量资金去砸开那些瓶颈,而且速度比我们原先想象得更快。
算力扩张就是一个很典型的例子。5年前,大多数人根本不可能想象,全行业一年会为这件事投入1万亿美元。
主持人:甚至1年前很多人都想象不到。这么看其实挺有意思。过去这些大型科技公司账上一直压着几千亿美元现金,我们以前还会批评它们囤那么多钱干什么。结果偏偏在这个时间点,这些钱真的可以派上用场,时机反而正好。
Nicholas Marwell:我们确实有点像是恰好生活在一条“很多高度相关的事情同时发生”的时间线上,有些是好事,有些是坏事。比如我们一直在讨论把算力搬到太空。AI恰好在SpaceX真正成熟起来的时候爆发,这个时间点就非常有意思。如果SpaceX晚10年才走到今天这一步,AI的整体时间线可能都会不一样。
主持人:这也得感谢马斯克。他足够疯狂,在其他人根本不会去做的时候,就提前很久开始做了。
Nicholas Marwell:但另一方面,也有一些更令人担心的事情同样在发生,比如我不觉得现在的全球环境对AI来说特别理想。其中一个原因是竞争动态,另一个原因是,我认为AI从根本上说是一种比多数技术更容易增强威权主义的技术。偏偏AI到来的时候,我们正进入我有生以来最明显的两极世界。
我说的“两极”,主要是指中国和美国构成的全球格局。当然,国内极化也值得思考。但我确实会想,如果AI是在2000年代早期那个更加单极、全球力量结构更简单的时代到来,我大概会对它最终顺利发展的概率再乐观一点。
主持人:我还有一个问题,我想很多听众也会关心。拥有惊人的财富是一回事,但一个文明里还有很多我们真正珍视的东西:美德、家庭、传统价值观。很多人就是靠这些东西建立自己的人生,还有工作的尊严,以及各种塑造“我们是谁”的传统。而现在很多改变恰恰发生在旧金山。很多人会担心,这里是不是没有那么重视这些传统。
所以他们真正害怕的是:掌握技术的人会不会突然获得一种巨大的能动性,然后重新塑造整个世界,顺手把我原来相信的传统都去掉?我们是不是应该现在就开始建立一些新的机构,帮助这些东西被保留下来?站在旧金山这个改变世界的中心,你们怎么想?
Nicholas Marwell:我觉得很有意思的一点是,在旧金山,很多人其实反而希望这些机构的重要性会重新上升。
因为随着工作在个人生活中的中心地位下降,随着纯粹的资本主义在生活里的主导性也下降——毕竟社会会越来越富裕——人们真正重要的东西,可能会重新变成传统、仪式、你为他人提供的价值、你和本地社区之间的关系,以及这些人与人之间的纽带。
Sholto Douglas:我也有一个看起来有点反直觉的判断:很多智力追求,乃至“如何成为一个真正会思考世界的人”这件事,未来的重要性反而可能上升,只不过不是因为它还能带来多高的经济回报。
如果你生活在一个几乎什么都不缺的世界里,那么最后真正还能让你投入、让你获得满足、让你感到自己属于某个共同体的东西,可能恰恰就是学习、思考、交流这些事情。
主持人:你们两个人都很年轻,而且已经很成功。假设Anthropic继续按现在这样发展,公司里的人显然都会拥有大量资源,同时整个世界也会拥有更多资源。你们有没有认真想过,将来自己会不会去建设一些机构,来支持刚才这些东西?有没有特别想投入的方向?
Sholto Douglas:有。Nicholas就有一个很好的例子,是他父亲一直在做的早期儿童教育,而且我觉得这正是Anthropic内部现在讨论非常多的事情。慈善是Anthropic文化里很重要的一部分。
有一篇很不错的文章,名字大概叫《美国慈善的第三次浪潮》(The Third Wave of American Philanthropy)。里面讨论了一个问题:未来OpenAI Foundation和Anthropic员工群体可能释放出来的慈善资源,规模会非常大,大到可能相当于数百个Arc研究所,甚至若干个盖茨基金会量级。大家现在已经在想很多不同的事情。
我自己捐过一个项目,它的目标是尝试终结所有病毒性疾病。很多人确实会优先关注健康相关问题。我还有一位同事资助了一家非营利组织,专门研究AI对劳动力市场的影响:到底真正发生了什么?我们真正应该担心什么?一线数据是什么样?我们应该推动哪些政策,才能让所有人顺利穿过这个转型期,并且在另一端生活得更好、感到自己得到了支持?
Nicholas Marwell:我在这方面确实深受父亲影响。他人生过去大概15到20年,主要都在做教育。
我刚才也说了,我觉得未来“我们应该学什么”会发生非常大的变化。20年后,我们是不是还应该像今天这样去高度技术化的领域读一个PhD,这件事对我来说已经没那么确定。
但我反而认为,对知识本身的追求、学习的快乐、人与人之间进行真正智力交流的能力,以及理解我们所生活的世界——尤其如果未来真的像我们前面讨论的那样,世界会变得极其令人困惑——这些东西的重要性只会继续上升。
“AI自然就会把教育问题解决掉”这种看法在AI圈里非常常见,但我其实认为它错了。如果你真正关心的是所有人的教育,而不只是“怎样给一个父母都受过高等教育、家庭本身就在收入前1%的孩子提供最好的教育”,那有两件事情非常重要。
第一,教育是一个极其强烈的复利过程。一个很好的例子是:预测一个学生未来数学成绩最重要的指标之一,居然是他在3年级结束时能不能达到对应年级的阅读水平。因为到了3年级结束这个节点,孩子会从“学习如何阅读”,转向“通过阅读来学习”。教育里有很多类似的机制。尤其是儿童,甚至很多成年人,都有一种心理倾向:一旦觉得自己不擅长某件事,就会失去继续做下去的动力。
如果你相信这些机制,那么至少到目前为止,AI有一件事做得非常差:电脑非常不擅长长时间抓住低龄儿童的注意力。事实上,电脑很多时候反而是一种极强的分心来源。
主持人:那也可以变成新的训练问题。你得想办法找到那个“游戏机制”,当然我也不确定该怎么做。
Nicholas Marwell:所以我确实认为,AI会极大改善教育流程的某些部分,尤其是它可以帮助我们在正确的时间,给每个孩子教最适合他的内容。但我真的不认为,它会成为那种“只要有一个特别聪明的AI,教育里所有其他问题就自动消失了”的万能药。
对2028年的预测
主持人:我们把时间快进到2028年8月。那时你们回过头再看今天这期播客,什么事情如果已经发生,会让你们说:“哇,这个进展比我原先想的还要快得多。”注意,是比你们自己的预期还快。
Sholto Douglas:我觉得一个很大的变量是把数据中心送进太空到底要多久。关于这个问题,不同人的预测区间非常宽。它非常重要,因为一旦你能在那里部署算力,就会多出很多以前做不了的事情。我大体预计,到那时像Terafab这样的设施应该已经上线,但真正能把产能爬到什么程度,现在还不好说。
另外一个我特别想看的指标是:2028年到底会有多少人形机器人真正进入家庭。我觉得届时非常可能已经出现一批早期部署。也许是数万台机器人进入家庭,帮人洗衣服、做一些基础清洁之类,但它也完全可能比这个速度快得多。
主持人:现在世界模型的进步真的很惊人,而且比我原来预期更快。感觉机器人也许就是那个能让所有事情再整体提前几年的变量。
Sholto Douglas:没错。而且就像我前面说的,一旦机器人真正成熟,进步速度会发生复利式增长,会非常快。
Nicholas Marwell:我觉得还有一些别的变量,其中很多本质上都和数据有关。AI能力进展最大的“调速器”之一,就是我们到底能以多快的速度,在真正关心的领域里扩大高质量数据规模。这件事现在已经比我原先预期快了,原因就是我前面讲过的:实验室和AI公司的收入增长,比我想象中快得多,因此大家拥有了更多钱,可以直接投入去解决数据问题。
但我的基础判断仍然是,最终我们很可能会受到一个限制:人类到底能以多快速度生产这些数据。比如,如果你今天告诉我,我们突然开始一场大规模行动,建设很多实验室,专门生产用于训练模型的生物学数据,而且一年以后这件事已经全面展开,那我会明显把自己的时间线往前调。
主持人:现在我们一直在为非常具体的任务生产特定类型的数据,比如代码、数学等等。我很好奇,以后会不会有人开始生产另一类数据,比如“怎样塑造有美德的人”“怎样培养良好品格”“怎样改善心理健康”之类。显然,这些问题复杂得多,但AI未来会不会也开始解决这类很有意思、很复杂的问题?
Sholto Douglas:老实说,这些问题我还是更希望由人来解决。
主持人:但我们不是也可以把AI当成工具,帮助人解决这些问题吗?
Sholto Douglas:当然可以。我觉得AI肯定会帮助我们参与这些讨论。但这类问题大体属于一种数据特别难扩张、而且高度因人而异的范畴。所以我预计,它们会比机器人这些问题更晚被解决。
主持人:听起来你还是给人类留了一点空间。
Nicholas Marwell:我举个例子吧。你问我,2028年AI会不会赢得普利策奖,我大概觉得不太会。
主持人:但如果我们根本不知道获奖作品是AI写的呢?
Nicholas Marwell:那倒确实有可能。如果你问我,2028年AI会不会拿菲尔兹奖,我觉得完全有可能,而且概率相当高。诺贝尔奖也一点都不疯狂。
Sholto Douglas:我感觉在2030年之前,出现这种事情的可能性非常高。
原文链接:
https://www.youtube.com/watch?v=6D1wC95htTM







