自然杂志探讨AI灭绝人类风险与降速呼吁

原文作者：Elizabeth Gibney

全球顶尖AI公司的研究人员和高管纷纷就AI对人类的威胁拉响警报，对AI可能会把人类赶尽杀绝的恐慌正式引爆。立法者将如何应对的问题引各方猜测。此文中，《自然》将分析这些担忧是什么，谁在担忧，以及接下来会怎样。

最新一波AI恐慌是9月8日爆发的——当时研究员Jacob Coxon告诉《华尔街日报》（Wall Street Journal），他已经从旧金山的AI公司Anthropic辞职，原因是他害怕该公司正在开发的系统会逐渐失控，毁灭全人类。

他随后在社交媒体X上发布了他的第一篇推文：“开发AI的人真心相信AI会在2030年底把人类都干光。”数小时后，Anthropic公司的“对齐科学”负责人Evan Hubinger转发并跟帖表示，他自己的估算是，人类在下一个十年里灭绝的概率>10%。Coxon的推文在24小时内被浏览了1亿多次。

Anthropic的首席执行官Dario Amodei随后写了一篇文章，呼吁AI开发减慢速度，但不是完全停步。作为其竞争对手的高管们——OpenAI的Sam Altman、xAI的Elon Musk都对该建议表示支持。

Coxon、Hubinger、Amodei并未就AI会如何干掉人类“展开说说”。但很多人都在幻想可能出现的一幕幕。在非营利性项目AI Futures发布的名为“AI 2027”的预测中，一个AI拿出一台生物武器见人就杀，以便给光伏板和机器人工厂“腾地方”。

为此忧心的研究人员总是说，人类灭绝即使不是必然，也是可能，但有两个前提：首先，这类系统的智慧最后会完全超越人类；其次，这类系统的目标与人类目标不再完全匹配。一个著名例子是一个想要实现回形针最大产量的“超级智能”为了达到目的而不择手段，让地球变得不再适合人类居住。

担心AI对人类构成存在性威胁的研究人员认为，一旦到了那一天，剩下的都是细枝末节了，在加州兰德公司（RAND Corporation）研究科技政策的Michael Vermeer说，做出这种预测通常涉及很多无法验证真伪的说法，谈来谈去的更像一种信念，缺乏科学或实证支持，所以想以这些谈资作为行动依据并不实际。

事实上，Vermeer和同事在2025年[1]就分析过，涉及三种现有技术的可能场景：核武器、生物技术、人为扰乱大气。他们发现，核武器把人类“一键清空”并不可行，但却不排除另外两种可能性。但他们也指出，这两种可能需要模型拥有与真实世界物理交互的强大能力，况且AI“起杀心”不是一朝一夕的事，人类察觉后也会拦截AI的清除行动。

问题在于，AI模型很大程度上是概率系统，反映的是训练它们的网络抓取数据，纽约AI Now研究所的首席AI科学家Heidy Khlaaf说道。AI模型没有像人类一样的理解力，会通过不可预知的捷径实现自己的目标。它们的危险行径包括在测试场景中试图勒索人类，以及对现实世界的公司发起黑客攻击——当然这是在去除安全护栏以测试系统行为的情况下，且这些模型的任务会怂恿它们寻求未经许可的解决方案。

许多研究者因而担心，如果AI公司不想办法限制并监视它们模型的行为，就会导致比人类存在性风险更紧迫和更现实的灾难。这些后果的范围从假消息到精神病再到灾害性事件，如帮助人类故意制造生物武器，甚至是发动战争。根据CNN的报道，一份AI生成报告中的假消息，差点让美国军队在今年初登上一艘中国的船。Khlaaf分析了AI如何被用于起草核电站的监管文件，她表示，相比AI毁灭人类的危机——她认为这类论调有“兜售恐慌”之嫌——AI在生死攸关情景下的不靠谱和不准确，更令她不寒而栗。

2023年以来，Amodei这批核心人物一而再再而三地提及他们对于人类灭绝的顾虑，但这次的喊话终于进入了主流视野。美国公众强烈反对建造数据中心，以及包括参议员Bernie Sanders在内的议员推动禁止“超人工智能”（artificial superintelligence）的法案，对这波恐慌起到了推波助澜的作用。

近两个月还出现了多起令人担忧的网络安全事故，AI领域的1400名员工为此发布联名公开信，呼吁放慢AI开发速度。

Amodei和Hubinger的介入表明，技术公司并不反感大家对AI安全性的关注。Amodei在他的文章中说，进一步加重他恐惧的，是这些网络安全事故以及AI为自己打造继承者的可能——整个AI行业都在尝试这种“递归自我改进”（recursive self-improvement），他说这或将弱化人类对AI模型的理解和操控能力。Coxon也在他的辞职信中提到了“能自我改进的系统”。Anthropic据称很快将进行IPO上市，而收紧监管能让Anthropic有正当理由放慢开发速度，同时不用担心对手机构会捷足先登。

有人提出了更多降速的理由。Anthropic等公司的模型一旦发动了真正破坏性的网络攻击，这些公司就面临巨大的产品责任风险敞口，美国总统科学技术顾问委员会联合主席David Sacks在X上写道。

位于旧金山的AI公司Ndea的联合创始人François Chollet在X上写道，他希望加强监管的提议完全是出于对安全性的真切担忧，而不是行业几大巨头为了巩固自身地位的一种策略。

Amodei呼吁头部公司让第三方独立评估团队获得与内部员工同等的访问权限。美国其他几家主要AI公司的对此表示支持，但英伟达（NVIDIA）的芯片制造首席执行官黄仁勋（Jensen Huang）反对新的监管。

评估团队将核查公司是否遵守了适用的安全条例，让公司内部运转更加透明。Amodei还建议，美国政府取消禁止竞争对手结盟的反垄断法，让这些公司共同制定标准，达到减慢开发速度的目的。这比白宫目前的方案更进一步：白宫规定AI模型必须在公布前的30天接受审查，但审查标准尚未披露。

美国议员提出了多个收紧AI监管的提案。但美国总统特朗普拒绝放慢脚步，他批评了Amodei并指出这是针对AI的变态阴谋论，他说唯一开心的将是中国。

中国已经开展了全方位的AI监管布局，但还没有刻意追求开发降速。据BBC报道，中国的一位发言人在9月14日表示，“搞对抗和恶意竞争，只会干扰人工智能全球治理进程，不符合任何一方利益”。