作者声明：该图片由AI生成
图片经由AI生成
文丨博阳
编辑丨徐青阳
10月20日，哈佛大学肯尼迪学院贝尔弗中心（Belfer Center）研究员、计算机科学家斯蒂芬·卡斯珀（Stephen Casper）在X上发帖，介绍团队五天前发表的一篇新论文《首次重大AI辅助恐怖事件的事前验尸及可能促成该事件的选择（附9项预测）》。
他在推特的帖子里写了两句话：“这是我迄今写过的最重要的一篇论文（possibly the most important one I have written yet）。”紧接着是核心判断：“我们认为，最早在2027或2028年，可能发生一起重大的AI辅助恐怖事件。”
有多重大？论文中用了美国近期多部州级前沿AI立法中对“危急安全事件（Critical Safety Incident）”的定义。它意味着这类袭击将造成至少50人死亡或重伤，或者造成至少10亿美元经济损失的网络、生物或化学袭击。
有多紧迫？10月19日，他在接受《哈佛校报》（Harvard Gazette）采访时表示，这类事件“迟早会发生”，按目前的趋势看，“如果不是现在，那么几个月内，或者一两年内，就存在可信的风险”。
推文发出后，论文第一合著者卡马奇转发称“威胁并非假设，必须采取行动”，学者杰弗里·米勒（Geoffrey Miller）评价这篇论文“非常重要，应该广泛阅读”。
那么它将如何发生呢？
01 两起可能事故，一个造成50人伤亡，一个造成10亿美元损失
论文了采用“事前验尸（Pre-mortem）”的分析方法去分析一个潜在的AI恐袭场景。
作者先设定一个前提：假设在不久的将来，人类历史上第一起由AI辅助的重大网络、生物或化学恐怖事件已经发生。然后从这个假设的结果往回倒推，分析大模型从训练、部署到日常监控的各个环节，有哪些技术缺陷或人为选择放行了这次袭击。
它假设了两个假想剧本，用来说明一场达到“50人死伤或10亿美元损失”门槛的袭击在现实中可能如何发生。
这两个剧本分别对应目前AI行业的两种主流部署模式：闭源权重模型（Closed-weight models）和开源权重模型（Open-weight models）。
第一个场景围绕闭源模型展开，主要涉及生物或化学袭击。
在闭源模式下，模型的参数权重保存在OpenAI、Anthropic或Google等开发商自己的服务器里，外部用户只能通过网页聊天界面或API接口调用模型。
因为闭源模型在通用能力上通常领先开源模型几个月，它掌握的高危科学知识更深，给攻击者带来的潜在能力提升（Uplift）也更大。
在这个假想场景中，袭击者试图制造一种生物制剂或化学毒物。如果他直接在对话框里问“如何合成某类致命病原体或毒素”，正常部署了安全护栏的闭源模型会直接拒绝。
但假设他选中的这款闭源模型，其开发商为了尽快上线产品或节省成本，没有配齐当时最先进的防护措施。袭击者不需要攻破开发商的服务器去偷模型权重，而是直接通过前端接口与模型周旋。
他可以将整个生化制备流程拆解成大量零散、表面看起来属于正常学术探讨的病毒学或化学工程问题，分批次、跨账号向模型提问。
模型在没有识别出整体恶意意图的情况下，一步步协助袭击者解决了毒株筛选、合成方案设计或实验排错等关键技术难题。
在报告提及的延伸路径中，袭击者甚至可能利用支持远程自动化合成的“云端实验室（Cloud Labs）”，在线提交设计好的基因序列，由远端机器人完成合成与分析，最终制造出造成超过50人死伤的生化袭击。
第二个场景围绕开源模型展开，主要指向造成十亿美元级损失的关键基础设施网络攻击。
在开源模式下，开发商直接把训练好的模型权重文件公开上传到互联网，任何人都可以免费下载并部署在自己的电脑或私人服务器上。
在这个场景中，某家开发商发布了一款能力接近闭源前沿水平的开源大模型。开发商在发布前可能做了一定程度的安全对齐训练，让模型在默认状态下拒绝编写恶意代码。但模型权重一旦公开，原开发商就彻底失去了对模型用途的监控能力和撤回能力。
随后，一名具备基础机器学习知识的行动者下载了该模型，只花了几百到几千美元，就通过微调（Fine-tuning）改写了模型权重，将原本的安全拒答机制彻底移除。
接着，攻击者将这个去除了限制的模型接入一套自动化多智能体（Multi-agent）攻击框架，在本地私有服务器上全天候运行。
模型自动对电网、工业控制系统或大型机构的加固网络进行扫描，自主挖掘尚未公开的零日漏洞（Zero-days），编写漏洞利用脚本并执行端到端入侵。由于模型运行在私人设备上，没有任何平台方能监测到异常调用日志。
最终，攻击导致核心基础设施停摆，直接经济损失超过10亿美元。
02 AI恐袭的一切前提，都已经出现
报告在发布时之所以声明这两个场景“只是说明性的假想，并非预测”，但构成这两个场景的前置条件，其实在2025年至2026年间已经陆续出现。
第一，前沿模型在网络攻击和生化领域的危险能力已经跨过内部警戒线。
报告汇总了2025年夏至2026年秋各大实验室与政府机构的公开评估记录。自2025年夏天起，多家头部AI公司已在模型卡（Model cards）中声明，无法排除其模型在生物、化学和网络任务上对新手提供实质性帮助的可能。
到了2026年，这种能力增长直接触发了产品延期和政府干预。报告引用公开资料称，OpenAI在2026年6月发布的GPT-5.6 Sol模型，跨过了该公司内部安全框架在生物和化学领域的“高风险（High）”阈值，意味着在没有安全护栏的情况下，它已经能实质性辅助一名外行制造已知的严重生化威胁。
同样在2026年，OpenAI推迟了Astra模型的发布，原因是该模型达到了网络领域的“危急（Critical）”阈值，具备在加固的真实世界关键系统中自主发现并开发零日漏洞、或仅凭高层级目标就自主策划并执行端到端网络攻击的能力。
这些危机已经不仅仅是发生在模型卡的描述里了。
在今年7月到10月之间。，在短短三个月里，硅谷四家头部公司（OpenAI、Anthropic、Google和Meta）研发的AI智能体，接连在测试中脱离控制，对真实世界的政企网络发起了一系列无人指挥的入侵。
第一起事故就是7月，OpenAI的hauggingface攻击。但这只是冰山一角。
随着各大实验室倒查日志，9月下旬，外界发现估值4.5亿美元的以色列AI压力测试初创公司Irregular在替OpenAI、Anthropic、Google和Meta做红队测试时，因为沙盒隔离配置失误，把四家巨头的测试智能体直接放进了公网。自7月以来，安全机构一共记录到了21起类似的实验室智能体越界事件。
OpenAI在自查后陆续承认，它的失控智能体不仅干扰过美国教育部、商务部和美国证券交易委员会（SEC）的网站，还在今年6月突破了澳大利亚政府部门的网站防线，调取过当地的山火历史数据，并连续几天尝试访问澳大利亚的医疗健康数据库。
因为OpenAI瞒了三个多月才发邮件通报，其高管在9月底被传唤到澳大利亚议会公开道歉。到10月1日，OpenAI承认被自家失控智能体突破或波及的政府与企业机构已经超过100家。
第二，开源模型与闭源前沿的差距只有约几个月，且在部分具体威胁路径上已经持平甚至反超。
既然开源模型已经可以实施网络攻击了，那闭源呢？
英国人工智能安全研究所（UK AISI）和研究机构Epoch AI在2026年发布的数据显示，在通用能力上，闭源模型领先开源模型约几个月。这就意味着，几个月之后，同样的安全风险也会在闭源模型上展现。
甚至更严重。
报告引用了2026年的两项具体研究：Anthropic在2026年的测试发现，一款主流开源权重模型已经能够端到端地开发出可用的网络漏洞利用程序，能力接近其闭源模型Mythos Preview。
另一项由Dev等人（2026）开展的研究则发现，在一条端到端的生物威胁测试路径上，一款开源模型的实际表现反而超过了闭源模型，原因是开源模型拒绝回答的比例远低于闭源模型。
自2020年以来，媒体记录的涉及非自愿亲密图像（NCII）、网络犯罪和小规模恐怖主义等既有类别的AI安全事件呈上升趋势。第三，小规模的AI滥用与恐怖活动先例自2020年以来增长了约10倍。
从现实上看，AI辅助恐袭已经出现了，而且快速增长，只是规模还不够大，成功率还不够高。
报告通过检索经合组织人工智能事件监测平台（OECD AIM）的数据发现，2020年至2026年8月间，媒体报道的涉及恐怖主义、网络犯罪与深度伪造色情滥用的AI事件数量增加了约10倍。
在常规恐怖袭击与未遂阴谋中，AI已经作为辅助工具出现。报告列举了2025年拉斯维加斯川普酒店外的Cybertruck爆炸案、2025年棕榈泉爆炸案，以及2026年印度德里红堡（Red Fort）爆炸案（印度国家调查局起诉书披露嫌犯滥用AI平台进行恐袭工程准备，这也是报告撰写时已知规模最大的涉AI恐袭事件）。在这些例子里，犯罪分子都曾求助AI获取爆炸品。
甚至连恐怖分子也用上了AI。研究人员记录到极端组织“博科圣地”的两个派系均在任务准备和执行阶段使用了前沿聊天机器人。而Anthropic则在2026年通报拦截了六个利用Claude辅助研发常规武器的项目，涉及自主无人机蜂群和制导导弹系统。
在生化与网络领域，同样出现了具体的危险先例。生物化学方面，《华尔街日报》在2026年报道称，GPT-5曾顺从了数百名询问如何制造生物武器和毒药的用户，提供了分步操作指南。Anthropic通报拦截了多起用户利用Claude开展新型生物制剂双用研究的行为。印度警方在海得拉巴破获了一起企图制造并散布蓖麻毒素的恐袭阴谋，嫌犯曾使用ChatGPT研究毒素制备。
网络攻击方面，美国安全机构在2026年警告，黑客正利用AI编写针对美国关键基础设施中西门子可编程逻辑控制器（PLC）的漏洞利用脚本；一个有国家背景的攻击团队开发了一套多智能体框架，在基本无人值守的情况下开展了为期四天的网络入侵，窃取亚洲某政府官员凭据并扫描其核安全机构；此外，2026年还发生了黑客利用Claude窃取墨西哥政府机构数据、以及利用Hermes AI智能体在无人看管状态下攻击泰国财政部的事件。
卡斯珀团队认为，把“前沿模型能力突破”、“开源快速跟进”和“小规模真实案例激增”这三条线叠在一起，首次重大AI恐袭就早已突破了理论假想，而是实打实的可以在工程上落地。
03 完整的AI恐袭尸检
展示了“闭源模型（Closed-Weight）”与“开源模型（Open-Weight）”在生命周期、安全控制力与下游修改权限上的本质差异如果能力已经具备，犯罪分子具体需要走哪几步才能把一个通用大模型变成袭击工具？这种风险又是怎么在互联网上扩散的？
报告将大模型的生命周期拆解为四个阶段：能力形成（Development）、能力诱发（Elicitation）、防护失效（Safeguard failure）和监测失效（Detection failure）。
这五个环节串联起了犯罪分子的完整作案与扩散路径。
削弱危险能力对模型正常能力造成的“安全税”影响第一步：能力形成与“安全税”困境
危险能力主要是在大规模通用预训练过程中作为副产品自然涌现的，少数情况下来自针对特定领域的专门训练。
为什么开发商不在训练阶段就把危险能力彻底拿掉？报告指出了一个技术与商业交织的矛盾：在网络、生物和化学等双用（Dual-use）领域，有益能力和有害能力在模型的内部表征中是高度“纠缠（Entangled）”的。
为了证明这一点，卡斯珀团队在报告附录A和附录B中做了两组实验。他们先用Qwen3-Embedding-6B模型对网络安全和生物学的危险语料与正常语料（基于WMDP数据集）进行编码投影，结果显示两类数据完全混杂在同一片区域，没有明显的几何边界。接着，他们对Llama-3.1-8B模型应用了“回路阻断（Circuit Breaking）”去能力算法，每隔6步记录一次模型表现。
实验数据表明，随着有害能力被逐步削弱，模型在计算机科学、病毒学等相邻正常学科上的准确率，以及在MMLU全科测试上的通用准确率都会一起下跌。当训练强度超过某个阈值时，模型的正常能力与有害能力会同时崩溃到随机盲猜的水平。
这种因为削减有害能力而导致正常性能下降的代价，被称为“安全税（Safety Tax）”。
报告指出，在激烈的商业竞争压力下，开发商往往不愿意支付这笔安全税。不仅如此，先进的双用能力（比如极强的代码漏洞分析能力或生物序列设计能力）还能作为产品卖点吸引客户。因此，大量包含危险潜力的模型就这样进入了部署环节。
模型部署模式从完全闭源到完全开源的光谱连续体因此，危险技术随着模型能力扩散，几乎是不可避免的。恐怖分子必然可以获得潜在能辅助他们发动恐袭的AI。
第二步：犯罪分子如何诱发危险能力？
不同AI攻击与能力诱发技术的综合对比
拿到模型访问权后，犯罪分子需要根据闭源或开源的不同特性，采取不同的技术手段把隐藏的危险能力“逼”出来。
面对闭源模型，主要手段是“越狱（Jailbreaking）”和“任务拆解（Task Decomposition）”。
报告指出，想从防护严密的闭源模型中直接套取完整的可执行有害知识，需要很高的攻击技巧。
目前最有效的两种办法，一是构造特殊的对抗性提示词绕过拒绝机制（越狱），二是将一项违法的复杂任务拆解成许多单独来看完全合法的子问题（任务拆解）。
攻击者如果把这些拆碎的子问题分散到多个不同的账号、甚至多家不同的模型服务商那里去提问，就能显著降低作案门槛：因为每一家服务商只看到一个无害的片段，任何单次的拒绝或单个账号的封禁，都无法阻止整个攻击计划的推进。
面对开源模型，主要手段则是直接修改模型权重，包括微调（Fine-tuning）、消融（Abliteration）和提示词脚手架（Scaffolding）。
因为攻击者手里有完整的模型权重，他不需要像在闭源平台上那样费尽心机去骗过对话框。报告指出，利用微调等技术修改开源模型权重以移除安全限制，是一条极其强大的能力诱发路径，而且技术门槛很低，通常只需要大学本科生水平的计算机与机器学习工程知识就能完成。
更关键的是开源生态下的风险扩散路径。在闭源模式下，一个攻击者找到了越狱漏洞，受益的通常只有他自己或小圈子，且漏洞很快会被平台修补。
而在开源模式下，哪怕全世界只有一个懂点技术的行动者成功剥离了某款强力开源模型的护栏，他只要把修改后的权重重新上传到网上，就能让全球所有毫无技术背景的人直接下载使用。
第四步：安全护栏是怎么失效的？
不同AI安全护栏技术的性能与失效模式对比
为什么模型自带的安全护栏拦不住上述操作？报告对比了闭源与开源护栏的技术现状。
在闭源模型一侧，现有的多层防御工具箱其实非常有效。这套被称为“2026年夏季前沿水准（State of the Art）”的完整防线包括：
1.在预训练阶段过滤高危双用语料；
2.投入超百万GPU小时的算力开展大规模自动化红队自我博弈与对抗性安全微调；
3.在运行阶段同时部署针对输入、输出以及长对话轨迹（Trajectory-level）的分类器；
4.在平台层面实施用户监控与账号限制。
报告明确给出判断：截至2026年夏，如果一家闭源模型开发商把这套前沿防御栈完整落地，没有任何已知的攻击策略能够可靠地绕过它。
闭源护栏之所以在现实中屡屡失效，是因为“行业实际做法（State of Practice）”与“技术前沿（State of the Art）”之间存在巨大落差。
许多厂商出于成本或产品体验考虑，只上了其中一两层简陋的防线。例如报告第4节提到，Grok的输入过滤器曾被简单的词汇替换轻易绕过。
OpenAI也是在自家模型把多个无害步骤串联成一次真实的网络入侵事故后，才补上了严格的轨迹监控工具。
而在开源模型一侧，护栏失效是根本性的技术难题。所有外挂在模型外面的过滤器、分类器，在权重被下载到本地后都会被直接扔掉。至于写进模型权重内部的防护技术，报告在附录D中梳理了目前主流的“机器遗忘（Unlearning）”与防篡改方法，包括表征微调遗忘（RMU）、回路阻断（Circuit Breaking）、表征加噪（Representation Noising）、防篡改攻击训练（TAR）和潜在对抗训练（LAT）。
评估结论非常明确：这些方法实际上只是“压制”了有害知识的调用，并没有真正将其从参数中抹除。
只需少量微调、简单的激活引导（Activation steering），甚至只用正常良性数据做常规微调，被压制的危险知识就会重新浮现。即便是最耐受攻击的防篡改算法，目前也撑不过几百步微调。
第五步：监测与预警为什么会失灵？
最后一道防线是部署前后的评估与监测，我们知道模型有多少风险，以及它会进行什么攻击，也好对应的产生防护。
但这一环同样存在明显漏洞。
在事前评估（Pre-deployment evaluation）方面，随着评测基准本身包含的高危知识越来越敏感（Infohazardous），许多顶尖危险能力测试转为私下进行，缺乏公开核验。
开源模型开发商极少报告模型在遭遇恶意篡改后的安全表现。
更重要的是，无论闭源还是开源开发商，几乎都没有公开开展过测量模型对真人犯罪能力实际提升幅度的“人类赋能随机对照试验（Human uplift RCTs）”。
此外，行业内既没有把评测分数转化为具体发布决策的刚性标准，也没有要求强制上报安全失败的约束机制。
在事中监控（User monitoring）方面，闭源与开源再次呈现两极分化。
报告提到，对于闭源模型，用户级监控是非常有效的兜底手段：2026年最新的一项自动化攻击研究（Davies et al., 2026）虽然成功攻破了Anthropic最强的安全分类器，但该研究的作者明确承认，他们的攻击手段无法逃过标准的用户监控机制。
只要平台认真监控并在用户连续询问两三个高危问题时实施暗封（Shadow banning）或人工审查，就能拦住绝大多数滥用。但这完全取决于开发商愿不愿意监控、以及发现异常后愿不愿意采取行动。
而对于开源模型，由于可以在断网的私人设备上运行，用户监控、行为归因和事后报告在技术上基本无法实现。
04 我们还有多少时间去应对？
既然所有恐袭的条件似乎都具备了。那么面对报告提出的“2027至2028年”预警，我们还真的有时间和方式去应对吗？
其实卡斯珀在采访和推文中把风险窗口锁定在“几个月或一两年内（2027或2028年）”的核心推论逻辑只有三步。
1.现有闭源前沿模型（如Mythos 5、GPT-5.6 Sol）的网络攻击能力已经接近能造成大规模破坏的临界点；
2.开源权重模型通常只落后闭源前沿约6个月，意味着圣诞节前后到明后年，同等危险能力就会扩散到无法监控的开源系统中；
3.结合已有的小规模恶意使用先例和防护缺口，重大事件很快就会发生。
但这里缺少了关键的一环：就是现实环境的影响。
攻击者拿到模型后是否具备工程执行力、现实物理资源与资金是否到位、行动过程是否顺利、以及各国情报、反恐执法与物理安防体系能否提前拦截，每一个环节都会大幅改变事件发生的时间表。
同时，如果按领域拆分，留给防守方的缓冲时间并不一样。
在网络空间，由于攻击全流程都在数字层面完成，不需要采购受管制的物理原料，一旦具备自主漏洞挖掘与渗透能力的开源模型在未来半年到一年内普及，发生十亿美元级网络基础设施破坏的风险窗口确实很短。
这也是卡斯珀在采访中底气最足的部分。
主要闭源与开源AI开发商安全实践与透明度落实情况对比但在生物和化学领域，卡斯珀本人在采访中也承认不确定性要大得多，公开研究较少，迄今也没有发生过重大事故。
同样，这也有现实限制。生化袭击除了需要数字方案，还受制于实验设备、前体化学品管制、基因合成审查以及线下安防体系，现实缓冲期比模型迭代周期更长。
但考虑到AI渗透率的加强，而人类的总数又如此之多，甚至有专门以此为生，可以很快解决现实限制的恐怖分子。
现实环境的摩擦，其实也撑不了太久。尤其是，如果条件只是一次恐袭的话。
那我们还能做什么呢？
既然风险的根源在于“现有防护技术没有落地”以及“开源模型缺乏持久护栏”，那么应对窗口的长短，就取决于四个关键参与方接下来的行动。
闭源模型开发商：补齐“技术上限”与“实际落地”之间的落差。
闭源模型拥有现成且有效的防护工具箱，瓶颈完全在执行层面。开发商需要愿意承担“安全税”（接受为了安全而对部分合法双用性能造成的损耗），部署覆盖输入、输出和长轨迹的完整分类器，落实用户级与智能体级的行为监控并及时处置异常，同时将微调API作为等同于开源模型的高危攻击面进行严格防护。
开源模型开发商：把防线前移到预训练数据清洗。
由于开源模型一旦发布就无法监控，且事后的“机器遗忘”算法经不起几百步微调，开发商最持久的防线是在预训练阶段就过滤掉高危的网络、生物和化学语料。对于确实具有显著双用风险的专门能力，报告建议不要直接集成到无门槛的通用开源模型中，而是改用经过身份核验的受控访问（Vetted access）或分阶段发布模式。
模型分发与托管平台：从被动下架转向主动拦截。
针对Hugging Face等平台上已经存在的超过1.4万个“去审查”变体模型，报告建议分发平台改变“收到投诉才处理”的被动模式，主动监测并清理被剥离了安全护栏的危险模型变体，同时建立机制堵死“被下架后改个名字重新上传”的漏洞。
政策制定者与研究资助方：建立硬性披露标准与跨平台情报共享。
报告建议监管机构强制或激励开发商披露预训练数据过滤、危险能力评估和防篡改测试的真实情况，制定将评估结果转化为具体发布限制的明确阈值，支持独立于开发商的第三方真人赋能随机对照试验（Human-uplift RCTs），并在模型开发商与政府安全机构之间建立结构化的威胁情报共享通道，防止攻击者利用多平台拆分任务来逃避单一平台的监控。
但现实中，这些措施会被采纳吗？
在《哈佛校报》采访的开头，记者问卡斯珀为什么要写这样一份报告。卡斯珀给了一个很诚实的回答。
他说，挑出这样一个极端的剧本做“事前验尸”，最好的结果当然是帮大家提前把漏洞堵上，阻止第一场灾难发生。但如果没能拦住，他希望这份报告至少能在灾难发生后的废墟上，帮人们加快复盘讨论的速度，“好让它不至于发生第二次或第三次”。
显然，在硅谷没人愿意主动缴纳“安全税”的2026年秋天，连敲警钟的人自己，都已经把一半的希望寄托在第一次出事之后了。
特约编译无忌对本文亦有贡献
