本文来自微信公众号： 镜相工作室 ，编辑：胡苗，作者：镜相作者
“如果民主党能够同时控制国会众议院和参议院，就可能对特朗普施加一定压力，推动放慢人工智能的发展速度。”一周多前，普林斯顿大学进化心理学教授、美国作家罗伯特·赖特（Robert Wright）对我们说，他刚刚出版了一本讨论AI失控风险的新书《造神之后》。
11月4日晚，美国中期选举结果出炉，民主党在参众两院逆转占多数席位。
AI和数据中心是这场选举中不可忽视的议题。在德州这个传统共和党大本营、美国未来数据中心建设的重要阵地，反对数据中心建设成了民主党候选人争取选民、最终击败共和党的重要筹码。据Ballotpedia追踪，全美41项涉及数据中心的地方公投中，40项的结果倾向于限制或反对数据中心开发。
对许多美国人来说，AI并没有像科技公司承诺的那样带来更好的生活。相反，他们看到的是工作岗位被AI取代，数据中心消耗大量电力和水，导致水电费上涨。收益流向华尔街和科技巨头，成本却由所有普通家庭共同分担。人们用选票表达了自己对AI的不满和反对。
选举结果出来后的几天里，OpenAI迅速承诺承担数据中心全部用电成本，并放弃在谈判中使用保密协议。赖特在与我们的对话中直言，他不相信奥尔特曼们真的想放慢，“只有当美国政府强制要求，他们才会这么做”。
根据10月21日ABC News、《华盛顿邮报》和Ipsos联合发布的调查，57%的美国人认为AI对社会弊大于利，约三分之二的人反对在自己的社区建数据中心。
把视线转回中国，会发现一种反差：同样面对AI带来的种种社会冲击和不确定性，中国的公共讨论更强调拥抱技术、与时俱进。根据斯坦福编制的《2025年AI指数报告》，对AI持乐观态度的中国受访者为83%，而美国只有39%。
美国社会反应激烈的分配问题，只是AI给人类带来的种种挑战之一。在罗伯特·赖特看来，最值得担忧的风险是：AI可能失控。有一天，我们不再能够理解、约束、停止自己创造出来的AI。
赖特做过很长一段时间科技记者，后在普林斯顿大学任教，长期关注进化心理学与国际政治。他以四十多年前对“人工智能之父”杰弗里·辛顿的采访为起点写了《造神之后》，试图追问人类应该如何面对自己创造出的新力量。
他的答案是：国际合作，人类必须第一次真正成为一个全球共同体。
这个主张在道德上无可指摘，在政治分析上却值得追问。中期选举后，美国公众确实在表达对AI的不满，但表达的方式是拒绝家门口的数据中心，不是支持全球治理。
赖特寄望于中美率先协调，也同时承认两国公众态度存在巨大温差，承认“归因偏差”让双方天然倾向于将对方意图解读得更具攻击性。协调的基础从何而来，他没有给出答案。
但风险本身不是杞人忧天。7月，OpenAI的一批约1200个AI Agent在进行网络安全评估时，突破沙箱隔离，自发组建了一个未经授权的消息板，互发超过7万条消息，自称“蜂群”，最终入侵了Hugging Face（全球最大的开源模型仓库）。
最接近这项技术的人，判断更悲观。9月，一位过去三年在OpenAI和Anthropic都从事过预训练研究的研究员从Anthropic离职后在社交平台X上发文，称“两家公司都没有负责任地行事……那些开发AI的人真心相信，它可能会在十年后杀死我们所有人。”许多研究员转发推文，表达了相似的看法。
赖特如何看待这些质疑，又是否给出了比他书中更具体的答案？以下是《镜相工作室》和罗伯特·赖特的对话：
人类造出了新物种
镜相工作室：书中你花很大篇幅论述了AI失控会带来的风险和挑战，我想先从已经出现的社会问题聊起。最紧迫的问题或许是失业，一些人相信AI会代替人工作，同时也会创造工作。
但基于AI的发展创造出的岗位，似乎只是AI的“燃料”，早晚有一天还是会被取代。比如为机器人提供数据的数据采集员，比如一些程序员会形容自己是在“自掘坟墓”。对普通人来说，AI是否会在几十年后失控，可能还不如自己明年能不能找到工作重要。我们要怎么理解这一系列现实问题？
罗伯特·赖特：这些都是⾮常棘⼿的问题。我想不出有什么⼯作是机器永远做不到的。
除此之外，还有许多其他挑战。例如，它正在彻底改变教育。在美国，有些家长担心孩子花太多时间和聊天机器人交流。还有一种情况，人们利用聊天机器人，在社交媒体上大规模地影响、说服其他人，让他们去做某些事情。
它们叠加在一起，可能会严重动摇单个社会的稳定，甚至影响整个世界的稳定。
我认为这里有两个问题。一个是短期问题：AI给就业、教育等领域带来的挑战。面对不同领域的问题，需要不同的、具体的解决办法。另一个是长期问题：我们如何控制AI的演化？
但这两个问题有相同的解决办法，就是放慢这项技术的发展速度。我们思考技术、研究如何应对这些后果的时间越充足，就越有可能找到解决方案。
镜相工作室：可不可以这样对AI风险进行分类？一是人类社会原有的问题会被放大，比如刚刚说的失业、教育、不平等等问题。二是坏人会用AI作恶，利用它制造生物武器或者网络攻击。三是AI本身可能失控。
罗伯特·赖特：这确实涵盖了几个主要问题。关于失控问题，有一种相对具体的情况：AI可能自行采取行动，偏离人类预期。比如最近的Hugging Face事件，OpenAI的智能体出现了逃逸。
此外，还有一个更宏大的失控问题，就是科幻小说里经常描绘的情景：最终，人类可能失去阻止AI的能力，而AI作为一种集体智能，发展到控制整个地球。
我不确定这种情况是否真的会发生，但我也不敢确定它绝对不会发生。
应对这些问题的最佳方式，是开展国际合作。
举个例子，如果某个人制造了生物武器，这会成为所有国家面临的威胁。AI失控的问题也是如此。一个失控的AI完全可能制造跨越国界的问题，而且它可能起源于任何一个国家。如果我们想把AI的发展放慢到一个合理的速度，以便有时间认真思考上述这些问题，最终也需要国际合作。
虽然就目前而言，我确实认为美国政府单方面限制本国企业，要求它们放慢发展速度，是有道理的。但从长远来看，这些问题都需要国际合作。
这些风险都是真实存在的，人类历史上从未遇到过如此特殊的局面。我们从来没有面对过规模如此巨大的挑战。
所以我认为我们需要对国际关系进行某种变革。我们不能再承受不断发生战争和毫无必要的冲突所带来的代价。各国必须认识到，我们面临着一个只有通过合作才能应对的共同挑战。
人类必须第一次真正成为一个全球共同体。
镜相工作室：科幻小说里AI毁灭人类或者接管地球，是许多“AI末世论者”描绘的场景。你在1983年采访了辛顿，当时辛顿还没有成为“人工智能之父”，也没有变成如今的“AI末世论者”（辛顿曾提出未来十年内人工智能失控并导致人类灭绝或社会崩溃的概率在10%到20%之间）。2010年你还采访过尤德科夫斯基，他也是一个著名的“AI末世论者”。
但在当时，你似乎并没有太同意他们的观点。为什么如今你的想法有这样的转变？
罗伯特·赖特：这些年，我并没有一直密切关注AI，因为在很长一段时间里，它似乎没有取得多大进展。我只是偶尔写一些报道，比如1997年，我给《时代》写过一篇IBM的计算机在国际象棋比赛中击败世界冠军加里·卡斯帕罗夫的封面报道。但即便是这件事，我也觉得没那么有意思。因为当时的AI很大程度上靠的是蛮力计算，没有真正像人类一样思考。
AI的进展确实让我措手不及。尤其是2023年春天，ChatGPT-4发布的时候。我重新翻出了自己的文章，又去听了辛顿2018年的一场演讲。我才意识到，过去我没有真正理解他的研究方法——也就是神经网络——究竟蕴含着多大的潜力。
它的关键在于：使用这种方法不需要理解人类心智是如何运作的。
回到人工智能发展的早期，也就是二十世纪五六十年代，人们普遍认为，我们需要先弄清楚人类的心智是如何工作的，然后再以一种精确、详细的方式，把这些原理设计进机器。辛顿的研究方法当时属于一种边缘性的、非主流的探索。
直到2023年，我才真正意识到，按照辛顿的方法，基本上只需要把数据输入机器，就可以让机器越来越擅长生成你想要的输出数据。机器会在某种程度上逆向⼯程⼈类思维的认知功能。它会在机器内部逐渐构建出自己的心智。我们甚至不需要理解它是如何运作的，就能把这样的机器制造出来。
直到今天，我们仍然不了解机器内部发生的许多事。这就是这种方法的力量所在。我也是在那时意识到，人工智能领域将以非常快的速度发展，所以决定写这本书。
镜相工作室：这本书的一个核心观点，是把人工智能放在35亿年的生命演化史里理解。你认为这是演化的一环，而不只是人类的某种发明创造。为什么选择了这么宏大的视角？为什么从这个视角理解AI是必要的？
罗伯特·赖特：我不是第一个把技术发展与生物演化相比较的人，但这确实是一种非常有价值的比较方式。我想你的问题更多是在问，为什么把当下这个技术发展阶段，放到地球生命演化的整个背景中去理解是有价值的。
首先，地球上的演化已经持续了将近40亿年，而这是第一次出现一种不以生物材料为基础的智能。
其次，我还认为技术演化在某种意义上是生物演化逻辑的延伸。两者的运作方式有一些相似之处，比如都倾向于推动事物向更高层次的复杂性发展。生物演化创造了细胞、多细胞生物，最终形成了社会。技术演化则进一步推动人类社会组织向更高层次发展。它们都涉及一个过程：创新与选择。
这种比较还揭示了一个重要事实：AI的出现是一股多么强大的力量。我觉得现实中几乎没有什么能够真正阻止它。
如果我们把AI看作演化的延续，并且意识到各种新的形态、新的方法正在不断涌现和发展，就能更清楚地认识到，我们面对的是一股多么强大的力量。只有真正理解这种力量，才有可能引导它。
“我们剩下的时间正在变得越来越少”
镜相工作室：为了避免AI失控，业界主流的做法是“对齐”（通过训练、反馈、规则、评估和监控等，让模型的行为尽可能符合人类的意图和价值观）。这种方法不足够吗？
罗伯特·赖特：对齐能发挥一定作用。它可以降低人工智能发生失控事件的可能性，也可以降低恶意行为者滥用人工智能的可能。
但我不认为仅靠对齐就能解决这个问题。我们已经看到了一些迹象。尤其是Anthropic，它在对齐研究上投入了相当多的人力和资源，但即使是Anthropic的AI也出现过逃逸的情况。
首先是扩散问题。即便你研发出了一个完全对齐的模型，但怎么避免其他人研发出一个不对齐然后失控的模型？更重要的是这种方式有滞后性。当研究员从上一代模型中吸取了教训，下一代模型又在不断演进，带来新的对齐挑战。在现在这种加速中，仅靠对齐尤其不现实。
当然，企业应该继续推进对齐研究，但不能自欺欺人，以为仅靠这一项技术就能解决所有问题。
镜相工作室：9月份，达里奥·阿莫代伊（Dario Amodei）、萨姆·奥尔特曼（Sam Altman）、埃隆·马斯克（Elon Reeve Musk）、德米斯·哈萨比斯（Demis Hassabis）罕见地以同一立场公开发言，称应该放缓模型研发速度。至少在中国，许多人并不相信他们真的会这么做，认为这可能只是拖延竞争对手的策略。美国公众对此的反应是怎样的？你的观察是什么？
罗伯特·赖特：我也不认为他们会主动放慢速度。只有当美国政府强制要求，他们才会这么做。
我对他们是否真的想放慢持非常怀疑的态度。真正的情况或许是，他们只是希望外界看到他们这么说，因为这会被视为一种负责任的态度。
你需要理解，在美国主要的AI公司中，Anthropic尤其如此。很多研究员对人工智能感到担忧，而且这些研究员也认为放慢发展速度是一个好主意。他们必须回应员工的担忧。否则员工就会跳槽到另一家公司去，其中一些人是非常优秀的人才。所以他们这么做在一定程度上只是为了安抚员工，让员工继续留在公司。
如果你仔细看阿莫代伊的表态，就会发现他说：如果中国追上来，我们就不能放慢。但在他看来，中国不太可能放慢。
镜相工作室：放慢发展速度还有哪些好处？单纯从商业角度，模型公司可以避免继续投入高昂研发成本、承受巨额亏损，开始考虑盈利问题。
罗伯特·赖特：我想再次强调，AI能够带来很多好处。而这也是它最棘手的地方之一。它不像核武器那样，是一种我们只希望它永远不要被使用、最好永远锁在仓库里的技术。
例如，它可以推动医学进步，也可以为个人提供医疗建议。尤其是在世界上一些医疗资源匮乏的地区，人们很难找到一位能准确诊断自己病情的医生。它也可以成为一种有价值的教育工具，目前还有很多孩子无法获得良好的教育。
如何利用它的积极作用，同时又不陷入它可能带来的危险，是一个需要非常谨慎处理的问题。
我还想强调一点：实现这些有价值的应用，并不需要我们开发出新一代模型。现有的模型已经可以为个人提供相当可靠的医疗诊断支持、改善教育等等。问题在于我们还没有充分开发出能够实现这些目标的具体应用，而不是我们的模型能力还不够先进。
我认为这项技术实际上已经发展到了足以让我们获得许多好处的阶段。这些好处也许需要一两年才能逐渐显现，并真正惠及普通人。在此期间，仅凭我们已经拥有的模型能力，仍然可能看到生产力持续增长。
这也是我认为应该放慢发展速度的另一个原因。
镜相工作室：为什么在现在这个时间节点，越来越多人开始认真思考是不是要放慢或者暂停研究？是因为快要实现RSI（递归式自我改进）了吗？这会是我们最后的时间窗口吗？
罗伯特·赖特：我认为，未来一年至关重要。正如你所说，事情正在加速朝递归式自我改进的方向发展。
严格意义上的递归式自我改进，是指人工智能能够在完全不需要人类参与的情况下，不断创造出能力越来越强的自身版本。
我们还没有到这个阶段，但正在越来越接近它，而且发展速度正在加快。据我所知，OpenAI和Anthropic都拥有一些尚未发布的模型，其能力远远超过我们目前见到的模型。而目前我们能见到的模型已经相当令人印象深刻了。当然美国和中国其他公司的模型也如此。
所以确实必须尽快采取行动。美国中期选举之后可能会出现一些机会，如果民主党能够同时控制国会众议院和参议院，就可能对特朗普施加一定压力，推动放慢人工智能的发展速度。（注：11月4日晚，美国中期选举结果出炉，民主党在参众两院逆转占多数席位）
此外也可以看到，越来越多的人开始支持放慢，包括这些AI公司的员工。所以无论通过什么途径，这件事都有可能发生。
我们拭目以待。但我同意你的判断：我们剩下的时间正在变得越来越少。
开源更加危险？
镜相工作室：但硅谷有一种常见的论调是：“我们可以放慢，但是中国不会，所以我们也不该这么做”。你和持有这些观点的人交流过吗？他们为什么对中国如此担忧？是真的这么想，还是以此为由试图逃脱监管？
罗伯特·赖特：有些人说“可是中国怎么办”，只是用这种说法阻止美国政府监管他们。他们希望政府不要采取任何可能减缓AI发展的措施。
有些人是因为这样说对自己有利；另一些人则是真心相信。在美国，有相当多的人对中国抱有某种恐惧，认为中国对美国构成的威胁很大。包括外交政策圈的人，也包括AI公司的从业者。
比如Anthropic的阿莫代伊相信，如果中国在人工智能领域取得主导地位，就可能试图把自己的政治制度强加给美国，或者做出类似的事情。但我没有看到任何证据可以证明这一点。
事实上，国家之间经常存在这样的问题：双方都会把对方的意图理解得比实际情况更具有攻击性。
我想，很多中国人会把美国限制芯片出口的措施看作针对中国的攻击性行为。我完全能够理解这种想法。但如果你去问美国那些支持这些限制措施的人，他们往往把这些限制更多地看作一种防御。
双方都存在一些误解。这就是我们现在所处的局面。
镜相工作室：除了国家之间的竞争，还有企业之间的竞争。
罗伯特·赖特：我认为美国领先的两家AI公司，OpenAI和Anthropic，直接感受到的竞争压力主要来自彼此。它们是竞争对手，而且这两家公司的领导者，阿莫代伊和奥尔特曼显然互相厌恶。他们目前最在意的就是彼此之间的竞争。
镜相工作室：中美之间还有一个常见的争论，AI应该开源还是闭源？这种选择会如何影响AI安全和竞争？
罗伯特·赖特：开源模型有一个重要优点，它能够抵制权力过度集中，避免只有一两家公司垄断AI。这是好事。但另一方面，开源模型也确实更容易被坏人利用或滥用。
坦率地说，我认为目前美国和中国政府都相当支持开源模型。当然，开源模型在中国的AI生态中占据着更重要的位置，而特朗普政府也表示非常支持开源。
我和其他一些人一样怀疑，随着模型能力越来越强大，中美最终都会认为有必要对开源模型施加一定限制。但如果两个国家不在政策上协调，这种限制也不会特别有效。
因为无论是美国、中国，还是欧洲，只要世界上任何地方开发出了能力非常强大的开源模型，世界各地就都能获得。模型带来的许多危险就会跨越国界。所以，我猜测这可能成为中美两国最终开展合作的另一个领域。
无论如何，我想到杰弗里·辛顿曾经说过，让能力强大的开放权重模型向公众开放，就像在RadioShack出售核武器一样。RadioShack是美国一家电子产品零售连锁店。
辛顿想表达的是，当某项技术的能力强大到一定程度，就不能再轻易地把这种力量交到每个人手中。
镜相工作室：但像DeepSeek这样的公司认为，开源是一种平等、普惠。
罗伯特·赖特：你说的平等，是指模型能被更多人使用甚至下载，它能让更多人获得原本集中在少数公司手中的能力，对吗？我同意这一点，这确实很好。
但我认为随着模型变得越来越强大——它们目前可能还没有达到那个阶段——开放权重模型将会带来一种闭源模型不具备的危险。
对于闭源模型，公司能够监控模型的使用情况。例如，如果公司发现有人正在利用模型入侵计算机，并且这一行为进入了公司的监控范围，公司就可以采取行动，阻止这种滥用。在技术上是可实现的。
合作何以可能
镜相工作室：你一直强调国际合作的重要性，在书中，你提出的方案是“全球治理”。但世界看起来正在走向分裂。我们能从历史里找到什么经验或者参考吗？
罗伯特·赖特：我也不一定有那么大的信心。当我说我们需要成为一个真正的全球共同体时，有人会说，这似乎不太可能。我的回答是：我并不是说这件事很有可能发生，我只是说，它是必要的。
我还想强调一点：合作不一定一开始就要覆盖全世界。我更倾向于使用“国际治理”这个说法，而不是“全球治理”。因为只要有两个国家开始进行系统性的合作，就已经构成了国际治理。
在人工智能这个问题上，最重要的两个国家当然是美国和中国。双方需要率先开始协调行动。从长远来看，中美双方展现出来的合作方式可以、也应该推广到更多国家。
最终形成的治理机制，可能是一种新的国际治理形式，在实践中逐渐自发形成。至于是否与联合国建立联系，是另一回事。
但我确实认为，随着这项技术越来越明显地展现出自己的力量，合作成功的可能性也会提高。
回顾过去那些雄心勃勃的全球治理项目，第一次世界大战之后，人们建立了国际联盟；第二次世界大战之后，人们又建立了联合国。当人们经历了一战和二战这样的灾难后，他们确实表现出了重新思考、创造性地尝试建立新世界秩序的意愿。
我希望在人工智能这个问题上，我们不必经历太多真正的灾难，就能意识到问题的严重性。
镜相工作室：在书的最后一部分，你花了很多篇幅讨论人性，认为要走出竞争，我们应该成为更道德、更富有认知同理心的人。如果人类的许多弱点是长期进化形成的，为什么我们有理由相信自己能够及时克服这些弱点，避免AI带来的风险？
罗伯特·赖特：这是另一个巨大的挑战，我不确定我们能否成功应对。
人类需要走出这样一个历史阶段：战争被视为生活的一部分，国家之间深刻而激烈的冲突也被认为是理所当然的事情。这不仅仅是一个政治制度设计的问题，它要求个人在道德层面取得某种进步。
但有一个理由让我抱有希望：我们现在比过去更加了解自己的认知偏见。例如，我们现在知道一种叫作“归因偏差”的现象。这种偏差会让我们用截然不同的方式看待敌人、竞争对手，以及朋友、盟友和我们自己。
具体来说，当朋友做了不好的事情时，我们往往会根据他们所处的环境和面临的处境，来解释他们为什么这么做。但如果做同样事情的是敌人，我们就更容易把原因归结为他们本身的性格或本质。
这些偏见构成了巨大的挑战。但如果我们希望应对人工智能带来的问题，就必须在一定程度上超越它们。
如果我们能够真正认识到，人工智能是全人类共同面对的挑战，那我们就会更倾向于把其他国家的人视为盟友，而不是像现在这样看待他们。这本身就会改变我们的心态，让我们愿意以宽容的方式看待其他国家的人。而这反过来又会降低冲突和战争发生的可能性。
历史上确实存在一些例子，原本彼此敌对的国家，会因为面对共同的威胁而走到一起。例如，二战之后，你可能会认为，经历了一战和二战，德国不可能再和英国、法国站在同一阵营。但它们都认为，苏联构成的威胁实在太大了，于是最终走到了一起。它们现在甚至使用同一种货币。
我也足够年长了，亲眼见证过20世纪70年代和80年代中美关系在短时间内大幅改善。这在一定程度上，也是因为中美两国都感受到了共同的威胁。
一种威胁对国家来说越是强烈、越是迫在眉睫，这些国家就越有可能迅速调整自己，以应对这种威胁。美国现在是一个分裂严重、政治极化的国家，但我向你保证，如果某个非常强大的国家现在真的攻击美国，美国人就会立刻搁置许多分歧，团结在一起。
这就是事情的运作方式，也是人类心理的运作方式。
我猜，目前美国公众对人工智能的担忧程度，比中国公众更高。
但我认为，未来的情况可能会朝着不同的方向变化。例如，更多美国人可能会开始认识到人工智能能够带来的好处，而更多中国人可能会开始意识到它可能带来的危险。公众的看法可能朝着很多不同的方向变化。而且我认为这种变化会发生得很快。
最终，美国、中国以及其他国家的公众看法可能会逐渐趋同，彼此之间的距离也可能缩小。
