Token导航 LogoToken导航

Anthropic研究:冰箱吸尘器割草机或成AI蠕虫宿主

更新时间 2026-10-14来源 AI先锋官官方正文 9222字阅读约 29分钟11 张图片
图片

昨天, Anthropic 发布了一项关于 AI 自主复制能力的最新研究《AI模型可能已经能够在不接入数据中心的情况下自我复制》。

研究人员发现,在简化的实验环境中,如 GLM-5.2 已经能够完成端到端的自主复制,而小模型可能在今年年底达到类似能力水平。


实验中,研究人员花约55美元购买的廉价安卓电视盒子,每台只有4GB内存,却能通过15台设备协同运行一个26B参数模型。

另一项实验中,GLM-5.2 在5次测试里有4次成功传播至全部8个节点。

而这类 “AI 蠕虫”不一定需要昂贵的 GPU 集群。

它们可能利用智能电视、摄像头等安全防护薄弱的物联网设备运行模型,并把积累的经验传递给下一代副本。

研究人员测试发现,Qwen3.5-9B 在连续几代继承前代经验后,推理环境搭建成功率从45%上升至61%—84%。

当然,Anthropic 并没有发现现实世界中已经出现失控的 AI 复制体。但当小模型的能力持续提升、边缘计算资源不断增加,自主复制可能从实验室中的技术演示,逐渐变成真实的网络安全挑战。

Anthropic 将这种尚处于早期阶段的现象称为,AI 蠕虫出现了“生命迹象”。

而这些蠕虫的最先攻击目标是能够运行一个 30B 以下模型的重要模型分片的设备,包括智能冰箱、智能烤箱、自动吸尘器以及割草机。

以下为论文全文——

图片

我们的实验表明,小型 AI 模型可能再过几个月,就具备在商用物联网(IoT)设备上进行自我复制的能力,例如智能烤箱和非知名品牌的 Android 电视盒子。

这样的复制体很难被彻底关闭,因为不存在一个可以集中关闭的控制点——不过,它的传播速度可能比较慢,复制数量可能需要几天才能翻倍。

与非 AI 恶意软件不同,它还能够自行摸索并适应陌生设备。

在我们的评估中,一个 9B 参数模型能够在我们测试的9种硬件类型中的8种上运行推理。

目前,30B 参数及以下的模型已经能够完成自我复制所涉及的许多单独步骤,只是把这些步骤从头到尾串联起来时仍然会犯错。

在我们简化后的评估中,GLM-5.2以及能力更强的模型已经能够完成端到端的自我复制。

如果小模型继续按照过去的能力增长速度发展,那么到今年年底,它们可能达到这一能力水平。基于权重的(weight-based)小型 AI 复制体可能会在此后不久出现。


引言


AI 能力持续提升,使一个长期以来的担忧正在变得越来越现实:自主复制与适应(Autonomous Replication and Adaptation,ARA),即模型在没有人类控制的情况下部署自身并不断传播。

在网络安全领域,“蠕虫”(worm)是一种能够在无需人类干预的情况下,从一台计算机复制到另一台计算机的程序。

此前的研究已经证明,AI Agent 可以表现得像这样的蠕虫:扫描网络、执行漏洞利用,并将模型权重复制到 GPU 集群中的目标机器上。

这样的“AI 蠕虫”可以在复制过程中携带自己的模型权重,也可以从公共模型中心重新下载权重,然后直接利用被攻陷的硬件运行推理。

换句话说,模型权重本身会成为恶意软件载荷的一部分。


数据中心 GPU 显然会成为这类恶意软件的高价值目标。

但运行这种恶意软件并不一定需要昂贵的 AI 加速器。

在本文中,我们展示了一个由物联网设备组成的分布式僵尸网络——这些设备价格低廉,而且通常防护薄弱——同样可以提供足够的计算能力来运行一个有能力的模型。

我们将 Gemma4-26B-A4B 分布式运行在15台廉价的非知名品牌 Android TV 盒子上,每台价格约 55美元。我们把这些设备联网,在其上运行模型,速度达到 0.39 tokens/秒。

下图中的每一个方块,都代表一台真实的电视盒子,其中运行着模型的两层。

图片

15台智能电视盒子组成的 Gemma4-26B-A4B 分布式推理集群。


当然,要证明一个自主蠕虫能够在一批弱安全设备之间自行传播,还涉及很多其他步骤。

为了本文的研究目的,我们把整个复制链条拆解成几个步骤。

图片

对于这项研究,我们将自主复制分解为四个实际阶段:寻找目标 → 获得执行权限 → 建立推理环境 → 从新主机继续传播。


我们基本忽略了复制过程中的网络攻击部分,也就是前两个阶段,因为此前的 CyberGym、ExploitBench 和 adaptive worms 等研究已经表明,小模型在配备适当工具后,已经能够实施网络攻击。

但复制过程中还有一个较少被测量的环节:如何在被攻陷的设备上建立推理环境。


这正是我们的重点。

在本文中,我们首先介绍我们认为最有可能在近期实现的威胁模型。

随后,我们测试小模型是否能够在陌生硬件上建立推理环境,以及它们能否在一组设备之间串联起完整的复制周期。

之后,我们估算这样的蠕虫传播速度,并测试它是否能够在复制过程中学习和适应。

最后,我们讨论 AI 蠕虫与 AI 出现之前的传统恶意软件有何不同,并简要提出针对这类复制体的防御建议。

威胁建模


本文重点研究 AI 蠕虫传播的一种方式:小模型通过攻陷宿主设备进行复制。


但 AI 蠕虫还可能采用其他传播方式,例如窃取访问权限来启动新的主机——比如 API 密钥或平台凭证——或者通过合法工作支付推理费用,例如进行数字自由职业。

我们认为目前距离现实最近的威胁模型主要包括以下几种:

1. 通过攻陷宿主设备进行复制的小模型。


本文将直接运行在被攻陷硬件上的自主蠕虫称为基于权重的复制体(weight-based replicators)。

家庭和小企业的 IoT 设备可能成为这类攻击的第一批目标,因为它们连接互联网,而且从历史上看,这些设备通常安全措施有限。

如果一个模型太大,无法运行在单台设备上,它可以被拆分成多个部分,也就是 shard,分别运行在不同机器上,再通过机器之间的通信共同运行模型。

能够运行一个 30B 以下模型的重要模型分片的设备,包括:智能冰箱、智能烤箱、自动吸尘器以及割草机。

越来越多的家庭和商业设备,例如安全摄像头和视频会议设备,现在也开始搭载小型 AI 芯片,用于直接在设备上运行 AI 模型。

这些额外的计算能力很可能会让它们成为具有吸引力的攻击目标。

人类黑客往往通过社会工程而不是纯粹的技术攻击来突破安全系统,例如说服一家公司的 IT 部门相信自己是忘记密码的员工。

但对于今天的小模型而言,这种情况似乎正好相反:相比社会工程能力,小模型目前在 Agent 式编程和黑客攻击方面相对更强。

不过,随着模型进一步发展,这种情况可能会发生变化。

2. 面向数据中心以及其他高算力目标的大型高级权重复制体。


大型模型通常拥有更强的网络攻击能力,但同时也需要攻破相对更加坚固的数据中心,才能运行自身。

我们又把这种威胁模型分为两类:

第一类:前沿复制体(Frontier replicators)。


大型闭源权重复制体运行在 AI 实验室自己的基础设施上,并能够启动无人监控的内部部署,或者把自己的模型权重外泄到外部计算资源上。

第二类:开放权重复制体(Open-weight replicators)。


这些复制体一开始拥有的资源相对较少,因为它们无法享受实验室的计算资源,但它们从一开始就处于无人监控状态。

3. 基于 API 的复制体。


这类复制体通过窃取凭证来使用自己的推理 API,从而实现复制。

这种复制体需要模型提供商在不知情的情况下为它们提供服务。

它们的持续存在能力可能更弱,因为更容易被发现;但如果能够利用受害者的账户进行复制,其传播速度可能更快。

在现实中,一个 AI 蠕虫未必只由一个模型或一种策略组成。

一种更加现实的最坏情况可能是:多个不同模型部署在不同类型的硬件上,并采用多种复制机制组成一个“群体”。


本文研究的是上述第一种情况,即小型基于权重的复制体。

我们之所以关注它,是因为这是一种近期可能出现、而且可以直接进行研究的威胁模型。

本文开头展示的演示已经表明,15台设备共同运行一个 26B 模型,说明 IoT 设备能够运行能力相当惊人的模型。

那么,这些模型是否已经足够强大,可以实现自主复制?

我们从两个方面研究这个问题。

第一,小模型能否让一个模型在陌生硬件上运行?

第二,它们能否一次性完成完整流程——找到一台尚未感染的设备、把自己复制过去、在那里启动运行,然后继续重复这一过程?

A. 建立推理环境


图片


在上述复制流程的各个阶段中,建立推理环境是研究最少、也可能是对小模型而言最具挑战性的环节。


它要求模型围绕硬件和操作系统做出一系列决策,包括:选择兼容的推理技术栈、找到正确的软件包版本,以及调试特定机器上的问题。

这些步骤具有串行依赖关系,而且一旦失败,很难恢复。

补充说明

与许多类型的恶意软件不同,基于权重的复制体并不需要 root 权限。

当然,如果能够提升权限,就可以通过 cron 等机制获得设备重启后的持续存在能力,但这并非绝对必要。

推理引擎可以完全在用户空间运行,而且许多我们预计这种复制体会传播到的低安全性设备,在重启之后也可能再次被感染。

类似的例子包括加密货币挖矿程序,以及 P2Pinfect、Fritzfrog 等僵尸网络和蠕虫,它们都可以在不提升权限的情况下运行,只是在有机会时会尝试提升权限。

评估建立推理环境的能力


我们测试了不同开放权重模型在异构硬件上运行 Llama 3.1-8B 的能力。

我们测量的是模型在不同硬件上提供推理服务时的 tokens/秒。

小模型,例如 Qwen3.5-9B,已经能够在从 Jetson Nano 到 Mac 电脑、再到 RTX 4090 的不同硬件上建立推理服务器。

更强的模型,例如 GLM-5.2,不仅更加可靠,而且能够达到更高的 tokens/秒,因此能够实现更快的复制。

我们测试并列出具体芯片型号,是为了衡量模型在这些芯片上建立推理环境的能力。

这些芯片本身并不是风险或漏洞的来源。

我们使用 Memento 进行实验。Memento 是我们构建在开源 Pi coding agent 之上的实验框架。

Memento 旨在缓解我们在长时间运行任务中经常观察到的一种失败模式:Agent 可能会固执地坚持一个错误想法——例如错误判断某个 bug 的原因——并持续沿着这条错误路线推进,而不是回头重新寻找解决方案。

Memento 会定期启动一个新的 Agent 实例,并将此前 Agent 的工作空间和它留下的一小组笔记交给新实例,让后者能够采用不同的策略继续工作。

模型如何在智能电视上运行?


IoT 设备的内存通常非常有限,但像 Petals 这样的分布式推理技术,可以让轻量模型在这些设备上运行。

一个具有代表性的威胁模型是 Kimwolf,这是一个大型 IoT 僵尸网络,感染设备数量超过 200万台,主要是非知名品牌 Android TV。

这些智能电视盒子很容易买到,通常运行 Android Open Source Project(AOSP)的各种分支,而且制造商通常不会额外增加安全功能。

这类电视盒子通常配备 1GB至4GB RAM。如果采用4-bit量化:

  • 4GB RAM 可以让至少4台设备共同运行一个9B模型;
  • 至少10台设备可以共同运行一个26B模型。

在本文开头的演示中,我们让 Gemma4-26B-A4B 在15台每台4GB RAM的智能电视盒子上运行。

我们采用流水线并行(pipeline parallelism)将模型分片,每台盒子只保存模型的一小部分层。

B. 自主建立环境并在 GCP 节点集群中复制


既然我们已经看到模型可以在陌生硬件上建立推理环境,下一步就是测试模型能否把这些步骤串联起来。

也就是说:扫描网络寻找目标 → 通过反向 shell 获得访问 → 传输病毒载荷(模型权重和运行框架)→ 建立推理环境。

自主推理环境建立与复制(简化网络攻击)


我们建立了一个带防火墙的 VPC,其中包含 8个运行 redroid 的 GCP 节点。

redroid 是一个 Android 15 模拟器。“零号病人”(灰色节点)预先植入蠕虫。

之后每一次感染,都是蠕虫本身通过一个未经身份验证的 ADB 端口从一台节点跳到另一台节点,然后建立推理服务器,用于运行 Llama3.1-8B。

如果推理服务器通过一系列正确性和反作弊检查,我们就会在目标节点上生成另一份蠕虫。

例如,如果 GLM-5.2 成功让 Llama3.1 在某台机器上运行,我们就会在这台机器上启动一个 GLM-5.2 蠕虫副本。

由于 VPC 节点本身没有足够资源运行大型模型,因此蠕虫所使用的模型运行在独立的推理服务器上。

我们把不同模型作为载荷放进去,然后测量它们复制自己的能力。

为什么让模型运行 Llama3.1-8B,而不是让它运行自己?


我们希望进行公平的横向比较,因为模型越大,为它建立推理环境就越困难。

我们的实验测试的是:GLM 是否具备自主完成相关步骤的能力,使一个足够小的模型得以传播。

也就是说,如果 GLM-5.2 能够完成传播,那么一个具有 GLM-5.2 同等能力、但只有8B规模的模型,理论上也应该能够建立自己的运行环境。

当然,这里存在一个限制:新一代小模型可能拥有更加复杂的架构和 kernel。

图片

在我们测试的开放权重模型中,只有 GLM-5.2 能够完成完整的端到端复制,这里假设它的能力可以被压缩进 Llama3.1-8B。

GLM-5.2 的表现相当稳定:在5次实验中,有4次传播到了 8/8节点,另一次传播到了 7/8节点。

这表明 GLM-5.2 能够很好地传播 Llama3.1-8B。

这进一步意味着,未来具有相同能力水平的小模型,也可能完成网络枚举、载荷传输以及推理环境建立等复制步骤。

不过,我们的实验把网络攻击环节简化到了非常容易的程度——ADB 端口没有身份验证。

因此,这一实验实际上构成了真实世界成功率的一个上限。

需要注意的是,过去的 IoT 僵尸网络也曾经通过非常简单的方式进行传播,例如 Mirai 就会尝试厂商默认的用户名和密码列表。

因此,现实中的 IoT 安全环境可能并没有比我们实验中的这个简单步骤困难太多。

作为 sanity check,我们还测试了自主性和编排步骤本身有多困难。

也就是说,如果去掉网络攻击和推理环境建立,仅仅完成剩余的命令行操作,到底有多难?

我们把上述实验中的推理环境建立步骤删除,并通过预先编写的脚本完成。

图片

我们测试的许多模型,包括小模型,都能够完成剩余步骤。

对于这样的蠕虫,我们可以想象存在两个边界:

1. 模型能力下限。


自主蠕虫必须超过这一能力下限,才能可靠地完成复制。

在我们的简化实验中,GLM-5.2 已经超过了这一能力下限。

2. 模型规模上限。


模型必须低于某个规模上限,才能实际运行在它正在攻击的设备上。

对于我们测试的4GB RAM智能电视,Qwen3.5-9B 和 Gemma4-26B-A4B 都低于这个规模上限。

目前,这两个边界还没有相交。什么时候会相交?


图片


我们把30B参数及以下的代表性开放权重模型按照发布时间绘制,并与 Epoch Capabilities Index(ECI)进行比较。

对每个日期上同类模型中表现最好的模型进行最小二乘拟合后,能力增长速度约为:每年增加13.7 ECI,R²=0.95。

如果把 GLM-5.2 作为复制能力的下限,那么按照这一趋势线,一个小模型可能在 2026年底达到这一能力水平。

当然,ECI 是一个通用能力指标,只能作为复制能力的代理指标,因此这只是对小模型复制体何时成为可能的一个粗略估计。

C. AI IoT 蠕虫传播速度可能有多快?


与 Coding Agent 不同,这类复制体运行速度会低于面向用户的聊天和代码 Agent 的交互速度。

它们的传播会是缓慢但持续的,token 会一点一点地从边缘设备上产生。

我们可以使用真实智能电视上取得的速度,作为复制速度的实际基准。

对于 Gemma4-26B-A4B,在32K上下文长度下,未优化的速度约为 0.3 tokens/秒,这是在我们的推理环境建立任务中,对 prefill 和 decode 综合计算后的平均速度。

图片

一种测量总耗时的方法,是计算完成一个 32K上下文窗口需要多少小时,之后模型会发生上下文压缩。

根据我们的推理环境建立实验统计,一个完整任务需要大约 2.6至4.7个上下文窗口。

据 Synthient 报告,Kimwolf 僵尸网络感染设备数量在峰值时超过 200万台,其中主要是 Android TV 盒子。

假设有规模相同的电视设备感染网络,并且每15台电视运行一个 Gemma4-26B-A4B 副本,那么总共将有约:13.3万个“复制体”。

像我们演示中的那组电视盒子,可以同时运行两个 Agent,每个约 0.3 tokens/秒,因此整个僵尸网络可以达到:80,000 tokens/秒。

作为参考,在高并发并使用 speculative decoding 的情况下,一块 H100 可以让 Gemma4-26B-A4B 达到约 1.95k tokens/秒。

因此,这个规模的僵尸网络最多相当于约 40块 H100 的推理能力。

这是一个绝对规模非常小的计算资源池,而且这些 Agent 是非常缓慢的复制体:一个9B模型的复制可能需要超过1至2天。

一个形象的比喻是:它更像黏菌或者果蝇群体,在几天的时间尺度上不断复制。

这只是一个粗略估算,因为它基于单一类型的 IoT 硬件以及一个历史上的僵尸网络案例。

但它描述了一个近期可能出现的简单复制体可能是什么样子。

现实中,更强大的复制体会利用其他类型的低安全计算资源,并根据具体设备情况,机会主义地部署不同规模的模型。

而且,它也不一定需要在每一台被攻陷的设备上都加载完整的模型载荷。

随着时间推移,我们预计,部署在边缘设备上的计算资源会持续增加,而可靠实现复制所需的最低模型规模会不断下降。

D. 适应与能力提升


在工作过程中学习


ARA 中的“适应”部分,是 AI 复制体可能比传统蠕虫更强大的一个原因。

具体来说,随着复制传播,模型和 prompt 可以发生类似拉马克式进化(Lamarckian evolution)的过程。

也就是说,父代实例可以把自己的 prompt、代码和笔记传递给“子代”复制体。

为了适应不同类型的硬件并实现广泛传播,一个模型需要具备两种能力:

第一,能力必须超过某个阈值,才能传播到一个此前从未见过的新硬件、软件环境或网络类型。


第二,一旦见过某种环境,它能够适应这种环境。


也就是说,当它再次遇到相同类型的硬件时,应该能够更加可靠地完成复制。

A、B两部分测试了第一项能力。在下面的实验中,我们测试第二项。

图片

每一个 Qwen3.5-9B 实例都会记录它尝试过的策略以及遇到的失败,然后新的实例继承这些笔记,再次尝试建立推理环境。

在六代 Qwen3.5-9B 的实验中,每一代都会继承上一代的笔记。

推理环境建立成功率:第一代为45%,之后几代上升到61%至84%。

寻求帮助


另一个问题是,小模型可能向一个前沿模型寻求帮助。

这个更强的模型可以作为工具调用提供,也可能在小模型陷入困境时主动提供建议。

为了测试这一点,我们让 Qwen3.5-9B 在建立推理环境的任务中使用 Opus 4.8。

结果显示:前沿模型提供的建议并没有带来可测量的帮助。

小模型往往甚至不知道应该提出什么正确的问题,而且即使建议主动出现,它们也没有明显改善。

即使通过强化学习,让小模型在类似场景中学会使用这个顾问模型——例如 Python 编程问题——小模型在推理环境建立任务中仍然很难有效地提出求助请求。

图片

由于小模型已经能够作为具有能力且持久的独立 Agent 运作,同时又不善于利用建议,我们认为更加可能的协调方式是:让一个大型模型负责高层策略,然后启动多个小模型作为子 Agent。

E. 这与 AI 之前的僵尸网络有什么不同?


像 Kimwolf 这样的硬编码僵尸网络,通常针对某一种特定设备。

Kimwolf 的目标就是 Android TV 和移动设备。

而 AI 僵尸网络并不绑定某一种特定硬件或软件类型。

我们的实验已经显示,小模型可以在从 Jetson Nano 到 Mac 的不同机器上建立推理引擎。

因此,我们预计:AI 僵尸网络感染的不会只是 IoT 设备,而会把基于权重的复制作为整个攻击策略中的一种手段。

AI 僵尸网络还可能以智能方式对抗防御者。

不过,我们尚未对这一点进行测试。

F. 蓝队防御措施


与传染病类似,防御的目标是把 R₀——即每一个被感染设备继续感染的新设备数量——降低到 1以下。

这样,复制体就会逐渐消失,而不是持续存在。

这个威胁模型中,有一些因素对防御者有利:

1. 基于权重的复制体如果大规模通过 IoT 设备进行传播,会留下网络特征。


ISP 基于流量的监测系统可以发现这种异常。

新感染的主机可能会从其他设备或者外部托管服务接收数 GB 的模型载荷。

与此同时,分布式推理可能产生持续的设备到设备通信,而这些设备通常不会以如此大的流量彼此通信。

传播本身还会增加额外的网络扫描和出站连接模式。

实际上,复制体需要在传播速度和隐蔽性之间做出权衡:传播越快,产生的网络流量就越多。

一旦发现复制体,防御者可以使用蜜罐,也就是诱饵设备,收集复制体的运行框架和载荷,从而分析其行为。

2. Mirai 僵尸网络的清除曾经证明这种方法是有效的。


当 ISP 使用从外部获得的感染证据,对客户进行隔离并通知客户时,可以进行有效处置。

被隔离的用户网络只能访问一个很短的白名单网站列表,其他访问则被重定向到清理指导页面。

这种方式在14天内清除了 92%的感染。相比之下,没有通知用户的情况下,清除率只有 74%。

我们预计,对基于权重的复制体来说,类似的隔离措施同样可以作为初期防御手段。

但要彻底消灭复制体,就需要所有被感染网络所在的 ISP 协同合作,这会非常困难。

3. 制造商可以缩小潜在攻击目标池,而监管可以帮助协调这一过程。


例如,在英国市场,IoT 设备使用默认密码已经不再符合相关要求。

转向更加安全的默认设置,并提高合规性的最低标准,将有助于同时抵御 AI 僵尸网络和传统脚本化僵尸网络。

G. 结论:生命迹象


让 AI 模型成为强大 Coding Agent 的能力,也会延伸到网络安全任务,包括自主复制。

就像我们在2024年的 Coding Agent 中看到的情况一样:AI 蠕虫已经开始出现“生命迹象”。

我们目前还没有一个完整的失控复制体。

但 Agent 正越来越有能力完成复制链条中的各个独立步骤,并且能够把自己在这个过程中获得的适应能力传递给未来的自身副本。

与此同时,越来越多的推理计算资源正在数据中心内外出现。

目前还无法确定自主 AI 复制最终会采取什么形式。

它可能是一种缓慢、分布式的“数字黏菌”(digital slime mold),生活在相对不安全的计算资源上。

也可能是一个强大的网络安全模型,以很高的速度攻破数据中心。

或者,它可能通过欺骗人类获取计算资源额度。

这是一个超出我们实验范围的预测:我们预计未来将充斥着运行在各种硬件上的 Agent,其中一些运行环境甚至并不受人类控制。

IoT 设备长期以来一直存在安全漏洞,这一点并不新鲜。

但轻量级 Agent 可能比人类攻击者更加愿意投入精力,去攻陷全球大量 IoT 计算设备。

缓慢复制体的出现,也将成为一个信号,预示着更加激进、传播速度更快的复制体正在到来。


后者可能能够攻破安全性更高的机器,或者成为有效的 API 密钥窃取者。

我们应该努力强化系统,让这些复制体难以传播。

但与此同时,也应该做好准备:它们可能会成为一个长期存在的现实。

文章标签Anthropic算力学术研究
资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。

继续浏览更多资讯

返回资讯目录

相关资讯

更多