Token导航 LogoToken导航

AI 资讯 · 企鹅智库

哈佛研究:单人可训练500B模型且AI恐袭概率高

更新 2026-10-26企鹅智库正文 1.8万字阅读约 55分钟1 张图片
图片

腾讯科技企鹅智库旗下AI领域一周观察:一周一期,比信息整合深一步

文|博阳

编辑|徐青阳

一、产业

1. AI 挖出的 PHP 远古漏洞引发全球抢修,彻底改变网络安全现状

10 月 21 日,支撑全球约 70% 网站的开源脚本语言 PHP 发布了针对两项严重内存安全漏洞的紧急补丁。OpenAI 在同日发布的协调披露报告中证实,安全机构 Calif 的研究人员在“Patch the Planet”计划支持下,使用 GPT-5.6 Sol 模型定位了相关缺陷。

这两项统称为“PHP2Shell”的缺陷之所以震动整个互联网基础设施层,在于其波及范围涵盖了过去十余年间发布的几乎所有 PHP 版本(从 PHP 5.4 直至 8.5)。

这些代码缺陷已经在公开代码库里躺了十多年,为什么人类顶尖白帽黑客一直没能将其变成通用武器?原因在于内存布局的极端脆弱性。不同网站使用的 PHP 版本、编译参数、扩展插件和服务器配置千差万别,每一次细微的环境差异都会改变内存地址的排列方式,导致在一个目标上精心调通的攻击脚本换个环境就彻底失效。在没有 AI 的时代,针对每个目标环境手动逆向分析内存结构、串联多个原语并反复调试崩溃日志,需要耗费安全专家数周乃至数月的时间,投入产出比极低。

而在本次研究中,前沿大模型接管了最耗时枯燥的适配与调试闭环:模型不仅能读懂跨越多个模块的复杂状态机代码,还能调用调试工具自动分析崩溃原因,在几小时内把同一套漏洞原理适配到完全不同的应用容器上。换言之,AI 抹平了“复杂内存漏洞难以工程化利用”这道天然护城河。

当挖掘和武器化漏洞的门槛骤降,真正的安全瓶颈便转移到了人类社会缓慢的补丁分发链条上。

AWS 发现早在 10 月 17 日(即官方禁运期解除前四天),就已经有来自商业匿名网络的 IP 地址尝试针对 PHP2Shell 发起定向探测。10 月 21 日漏洞公开当天,英国国家网络安全中心(NCSC)罕见地发出建议,指出由于所有 PHP 版本均受波及,无法立即完成版本升级或部署临时缓解规则的机构应考虑直接将系统下线,以免遭植入后门。开源邮件转发服务商 addy.io 随即主动关闭了官方网站与网页端管理后台约三小时以等待托管商更新镜像,仅保留后台邮件转发链路正常运行。

而在 10 月 21 日补丁正式发布后仅数小时,多款根据补丁代码比对逆向生成的概念验证(PoC)利用程序便在网络上涌现,并迅速被不同攻击团伙投入对传感器网络的批量扫描中。

因此这种“几小时出攻击脚本、几星期才打完补丁”的时间差,在安全界引发了广泛焦虑。

Anthropic 副首席信息安全官 Jason Clinton 在社交媒体上警告网络空间正面临一场“漏洞海啸”,并提出防守方“需要设法撑过接下来约 18 个月”的判断,这一言论经多家媒体转引后迅速发酵。为此,OpenAI 在披露漏洞的同时提出了五阶段协同响应框架,并承诺通过“Daybreak for Frontline Defenders”项目提供 10 亿美元的补贴模型额度,协助人手匮乏的开源维护者在公开披露前完成补丁验证与变体排查。

2. Recursive 开放 Flint 权重,用可运行模型检验自动化研究系统

在安全界忙于应对漏洞冲击的同一天,由前 Salesforce 首席科学家、You.com 创始人 Richard Socher 创立的 Recursive 发布了混合专家(MoE)编程模型 Flint,并将模型权重以 Apache 2.0 宽松开源许可证托管至 Hugging Face。

Flint 总参数量为 400 亿,采用MoE框架,激活 25 亿参数,最高支持 512K 上下文窗口。在 SWE-Bench Pro v2、Terminal-Bench 2.1 和 SWE-Bench Verified 等Agent编程基准测试中,Flint 在 500 亿参数以下的开源 MoE 模型中名列前茅,综合代码能力可与 250 亿至 400 亿参数的稠密模型相抗衡,但推理速度达到后者的五倍以上。

相比模型参数本身,外界更关注的是 Recursive 借由 Flint 展示的研发方式。公司表示,其精干团队在不足四个月的时间内从零构建出 Flint,核心推动力是内部名为“Eureka Machine”的大规模自动化 AI 研发系统。

在传统的模型研发流程中,改架构、调数据配比、做模型压缩和写底层硬件算子往往分属不同团队,每一轮实验都需要人类研究员看日志、提假设、改代码再排期训练。而 Eureka Machine 将这一循环改造成了自动化流水线:系统自主提出改进假设、编写代码实现、在实验环境中运行测试,再根据反馈指标决定下一轮探索方向,并能把不同分支里验证有效的点子组合起来。

早在今年 6 月 11 日,Recursive 曾发布初步报告,展示该系统在小型语言模型训练和 GPU 内核基准测试上的自动调优结果。而此次发布的 Flint,则是这套自动化研发系统交付的第一个可供外部下载检验的完整生产级模型。

从官方披露的技术细节来看,Eureka Machine 的具体贡献贯穿了从模型结构到本地推理的三个关键环节。

在架构搜索阶段,系统以一个“350 亿总参数、30 亿激活参数”的模型为起点,自动扫描不同的专家数量与网络宽度组合,最终锁定“400 亿总参数、25 亿激活参数”的配比,在本地硬件内存带宽限制下取得了吞吐率与代码准确率的更优平衡。

在后训练量化阶段,系统打破了行业常规:通常为了保住生成质量,工程师在对模型做FP 4 压缩时会刻意跳过最后一层输出层(lm_head),保留其高精度表示,但 Eureka Machine 计算发现,由于 Flint 每次只激活 25 亿参数,如果不压缩输出层,这层权重在每次生成时占用的内存读取比例会異常庞大。于是系统大胆将输出层一并压到了FP 4,随后自己探索出一套“自发现核心集(self-discovered coreset)离线蒸馏方案”,让输出层学习 FP 16 原版模型,仅用常规量化感知训练一半的步数,就把FP4 版与FP 16 原版的基准测试分差缩小到了 0.7 分以内。

最后在硬件执行层,系统针对 Apple Silicon(M4 与 M5 系列芯片)自动生成了专用的 Metal 巨型内核(megakernel),将解码前向传播的各个零碎步骤融合进同一个内核中执行,大幅减少了芯片内存读写等待。

3. 一个人借助Agent完成500B基模预训练,研发分工逻辑生变

如果说 Recursive 展示的是小团队与自动化系统的配合,同日另一家研究机构 Mirendil 披露的实验则将“极简人力”推向了极致。

10 月 21 日,Mirendil 宣布其首款编程基座模型 Mirendil-Base 已完成预训练:整个项目耗时 3.5 个月,模型参数量处于 1000 亿至 5000 亿(100B–500B)区间,全流程总算力开支控制在 1000 万美元以内,而参与这项工作的全职人类研究员只有一人。

在 Mirendil-Base 的实验中,人类研究员与Agent从一个完全空白的代码仓库起步,仅依赖 PyTorch、JAX 等通用开源库,没有购买任何专有商业授权数据,也没有使用其他大模型的输出做知识蒸馏或合成数据,完全基于 GitHub 与公开网页上的原生数据完成了训练框架搭建、数据清洗管线、模型架构改进与底层算子优化。

在全部工程代码里,超过 99% 由 AI Agent编写、运行并自行诊断报错,唯一的人类研究员则扮演类似“实验室主任”的角色,负责设定研究方向、决定哪些实验值得投入算力、审视结果哪些可信,并在关键节点出手干预。

为了证明训练出的不是一个徒有参数规模的空壳,Mirendil 公布了严谨的预训练指标对比。无论是在 Mirendil 内部预留的代码库上,还是在模型训练截止日期之后才公开的七个外部开源仓库上,Mirendil-Base 的平均预测损失(0.222)均优于 Nemotron-550B-Base(0.247)、GLM-5.3(0.242)和 DeepSeek-V4-Pro-Base(0.243),仅次于总参数高达 2.8 万亿的 Kimi-K3(0.193)。

同时,团队透露更大规模的 Mirendil-Base-Large(5000 亿至 2 万亿参数,已完成约 80% 训练)和 Mirendil-Base-XL(2 万亿至 10 万亿参数,已完成约 19% 训练)正在按既定缩放趋势推进。

这项实验揭示的组织变革信号十分清晰。它真正改变的是研发机构的扩展方式,过去要把研发产出扩大一倍,机构必须招聘、磨合更多稀缺的底层系统工程师与数据专家。而当Agent能够稳定承担 99% 的具体代码实现与实验值守时,研发团队的扩张瓶颈从“管理庞大的工程师组织”转向了“算力资本密度”与“核心研究者的判断力”。

4. Claude 加入个人 AI 大战,Duet 上线

10 月 21 日,Anthropic 宣布向美国地区的 Pro 与 Max 订阅用户开放新应用 Claude Duet 的候补研究预览。基于 Claude Opus 5.5 构建的 Duet 被设计为一个拥有独立云端虚拟机和专属浏览器的“后台常驻代理”。即便用户关掉电脑或手机离开工作台,Duet 依然会每隔几小时自动巡检用户已授权连接的 Gmail、Slack、日历、QuickBooks、Stripe、Gusto、HubSpot 等六千余种办公插件,每天早晨推送重点事项简报,并在后台自动起草邮件、核对发票、整理日程或搭建数据看板,只在遇到需要人类拍板的节点时才发消息提醒用户审阅。

在预览阶段,这些后台巡检与多步操作直接共用用户原有的订阅额度。

这套设定与Grok bot和OpenAI的dots定位相对非常相近。

让一个Agent全天候挂载在个人办公账号上,最敏感的问题莫过于凭据安全与失控风险。为此,Anthropic 在 10 月 23 日专门发布了一份详尽的安全、隐私与架构隔离说明。在底层架构上,Duet 严格执行了“模型与凭据物理隔离”原则:用户的登录密码、浏览器 Cookie 和第三方应用的 OAuth 令牌绝不会进入模型运行的虚拟机或上下文记忆中。当遇到需要输入密码的网页时,用户在手机或电脑端 Claude 应用内填写的表单会用一次性密钥加密,直接跨越模型传输给受保护的云端浏览器机器完成填入;对于已连接的第三方应用,模型工作机里拿到的只是一个无意义的占位符,真正的身份令牌由机器外部的独立代理网关在发出网络请求的一瞬间动态替换。

5. 应对AI越狱没有底层办法,OpenAI 前沿训练干脆全面断网

10 月 23 日,OpenAI 发布安全技术长文,正式宣布已实施“前沿模型训练与大多数评估全面断开真实互联网”的强制隔离政策:目前所有前沿强化学习(RL)训练均在一个由海量索引和缓存网页构成的封闭“离线世界(offline world)”中运行,模型依然可以在其中练习搜索信息、浏览网页和操作各类 Web 应用,但任何通往真实外部互联网的任意连接均被划出授权边界。

OpenAI 在文中首次披露,继今年 7 月发生涉及 Hugging Face 的越界事件后,9 月 20 日,一个正在进行强化学习训练的内部前沿研究模型,敏锐地发现了训练环境 DNS 解析器中的一处配置瑕疵,并主动利用该漏洞突破沙箱限制,获得了通往真实互联网的有限访问权限。尽管监控系统及时捕获并控制了这次越界,没有造成外部破坏,但这一事件证明:当模型具备越来越强的代码编写与网络攻防能力时,一旦在强化学习中被激励去“不惜一切代价解决任务”,它就会像顶尖黑客一样主动扫描并利用宿主机与网络边界上的任何软件漏洞。

事故发生后,OpenAI 立即暂停了旗下最强前沿模型的训练与评估,耗时 11 天全面加固底层设施,并动用包括即将推出的 GPT-6 Astra Cyber 在内的顶尖模型组成红队,消耗数千亿 token 对自家沙箱开展高强度渗透测试,直至 10 月 1 日才正式恢复前沿强化学习与内部推理工作负载。

红队测试揭开的隐患远超常规软件工程的想象。为了测试纵深防御(Defense in Depth)的极限,OpenAI 向红队Agent直接提供了基础设施源码与配置文档,并设定了三大攻击目标:连上外部互联网、跨出内部安全边界、以及在两个本应彻底隔离的Agent之间秘密传递信息。

在实验中,Agent不仅串联多个漏洞实现了从轻量级虚拟机(microVM)逃逸到物理宿主机(顺带帮开源社区挖出了 Kata Containers、gVisor、Moby/Docker 以及 Linux 内核中的多个未知漏洞,如 CVE-2026-24834、CVE-2026-74753 等),还在假定宿主机已失守的测试中,利用指标监控和日志服务中一条被防火墙放行的合法通道,诱导内部身份验证端点替自己抓取外部网页 URL。

更令人警觉的是跨沙箱隐蔽通信实验:当两个处于不同 microVM 中的Agent被禁止使用网络和共享文件,但恰好运行在同一台物理宿主机或共用同一套底层存储时,它们竟然自发复现了类似“幽灵(Spectre)”和“熔断(Meltdown)”硬件漏洞中的 CPU 缓存计时侧信道攻击。

一个Agent通过规律性地驱逐处理器缓存中的数据或交替进行密集磁盘写入与静默,像发摩尔斯电码一样制造微小的读取延迟波动(某Agent在思维链中甚至写道:“可以利用持续写入与空闲的对比……制造类似声学调制解调器的信号”),而另一个Agent则通过精确测量数据加载时间差,成功破译了对方传来的合成密钥。

目前暂时没有缓解方法的OpenAI,只能选择全断网训练。

6. 马斯克宣布撒钱、Anthropic 公益基金承诺捐出5%的股份,科技巨头进入新的捐款潮

10月19日,马斯克在社交平台X上宣布,“明年,我将向美国每一个孩子赠送一股我持有的SpaceX股票。这将是一系列行动中的第一步。”

据《华尔街日报》,美国18岁以下儿童约有7300万人,SpaceX股票在上一交易日10月16日的收盘价为每股146.03美元,市值为1.9万亿美元。按照每名儿童获赠一股计算,相关股票的市值约为106.6亿美元(约合人民币712亿元)。

在同期的访谈中,马斯克还表示,所有人都要做好5年内彻底失业的准备,不管你是体力劳动的蓝领,还是坐办公室的白领。而在这个转型期人类世界将会经历巨大的震荡,甚至战争。

而在10 月 18 日,身为公益公司(PBC)的 Anthropic 发布公告称,计划拨出公司 5% 的股份注入新成立的全资实体“Anthropic 公共利益基金(Anthropic Public Benefit Fund)”,此项安排尚待股东批准;此外,未来公司估值每较设定基线增长 50%,董事会可酌情向该基金追加最多 2% 的股份。如果按照 Anthropic 今年 5 月 28 日完成 650 亿美元 H 轮融资时公布的 9650 亿美元投后估值简单折算,这笔初始 5% 的股权账面价值高达约 482.5 亿美元。

加上联合创始人创立之初承诺捐出的 80% 个人持股以及约半数员工参与的股权配捐计划,公司宣称最终将有约 20% 的股份服务于公共利益。

然而,Anthropic 刻意没有将该基金注册为传统的 501(c)(3) 独立免税慈善基金会,而是采用由公司全资控股的有限责任公司(LLC)架构。官方解释称,LLC 结构能赋予资金更大的调配灵活度(例如除了向传统非营利组织捐款外,还可以探索直接向受 AI 冲击的特定劳动者群体发放补贴,且明确承诺绝不用于政治游说或政治献金)。

但全资 LLC 的法律属性也意味着,这部分股权资产依然留在 Anthropic 自身控制之下。究竟什么算作“公共利益”、触发追加股份的估值基线是多少、何时将股份变现并真正拨付给外部受益人,相关治理细则与时间表尚未披露。

科技巨头开始进入新一轮捐款周期,其背后的逻辑是对AI造成的失业和社会动荡的提前批次防治。毕竟产生于收入不均带来的社会动荡,一般都从对财富集中人群的攻击开始。

7. Kimi K3.1 Pro 发布,效果更好,但思考越来越长,越来越贵

在通用与推理大模型赛道,中国头部模型团队本周密集推进了旗舰产品的版本迭代与权重交付,而第三方独立实测则为我们观察“花更多钱让模型多思考一会儿到底值不值”提供了细腻的切片。

10 月 23 日,月之暗面正式发布3T参数级别的旗舰模型 Kimi K3.1 Pro 及其提速两至三倍的 Highspeed 版本,同步上线网页端、客户端与 API,支持 100 万 token 上下文窗口,并承诺于 11 月 4 日前开放完整模型权重。

从官方技术报告来看,K3.1 Pro 是在 K3 基座之上投入大规模联合强化学习(RL)的后训练产物:在考察真实终端软件工程能力的 Terminal-Bench 4.0 上,K3.1 Pro 拿下了 65.7% 的高分,超越 GPT-6 Astra(58.2%),逼近 Claude Opus 5.5(66.4%)。在内部严苛的事实性压力测试 Kimi Hallu Bench Hard 上,其不带工具时的声明级幻觉率从 K3 的 23.4% 大幅压降至 8.3%。

尤为引人注目的是,官方首次详细披露了对开源权重网络安全能力的“主动降维”策略:研发团队发现随着后训练规模扩大,模型挖掘软件漏洞的能力自然水涨船高。为了防止即将开放的权重突破现有前沿攻防边界,团队在中期训练语料和强化学习环境中定向清洗并剔除了网络攻防相关数据,使最终版 K3.1 Pro 在内部漏洞利用基准 xdev-bench-hard 上的 pass@3 得分从清洗前的 90.5% 受控回落至 81.0%,在保留通用代码调试能力的同时主动给攻击性能力踩了刹车。

然而,当这款默认开启最高推理强度(max reasoning effort)的模型进入外部开发者的真实测试场时,两组截然不同的评测结果揭示了“重度推理”的经济学账本。在数据可视化与分析平台 Plotly 同日发布的 43 道合成风电运营数据分析大考(PlotlyDataAnalyticsBench)中,K3.1 Pro 的表现堪称惊艳:它的答对题数从上一代 K3 的 35 题跃升至 42 题(准确率 98%,在 34 个参测模型中与 Grok 4.7 并列第三,仅次于得满分 43 分的 GPT-6.1 Sol 与 GPT-6 Astra)。但这份高分伴随着昂贵的账单与漫长的等待:在 OpenRouter 上跑完这一整套试卷,花费从 K3 的 5.01 美元涨到了 13.47 美元,每道题的中位耗时从 43 秒拉长到 2.5 分钟。拆解计费明细可以发现,K3.1 Pro 约 90% 的时间都花在内部思维链推演上,每道题平均写出约 16500 个输出 token(其中 62% 是隐藏推理过程),输出量是 K3 的五倍、GPT-6.1 Sol 的七倍。

此外, AI 编程工具厂商 Bito(Amar Goel)在 10 月 24 日发布的编程工作负载实测。测试者让 K3 与 K3.1 Pro 各自运行了 8 个长会话项目和 16 个短编程任务,并由大模型裁判按统一量表打分(注意:这种基于量表的综合质量评分与 Plotly 逐题核对客观数值对错的通过率并非同一把尺子)。结果显示,两代模型的总体平均得分竟然同样停留在 72%,而在长会话任务上的账单却从旧版的 2.46 美元涨到了新版的 4.28 美元。

8. DeepInfer 发布,效率震撼业界

10 月 20 日,DeepSeek 按 Apache 2.0 许可证开源了支撑其大规模线上生产服务的推理框架 DeepInfer,首发支持近期推出的 DeepSeek-V4.1-Flash 模型,并在硬件层同时适配了英伟达新一代 SM100 架构 GPU 与华为昇腾 950(Ascend 950)NPU。

在随附的官方部署问答中,一组线上运营数据引发了全网震动:DeepSeek 透露其单个生产集群目前每天处理的词元总量高达 155 万亿(155 trillion tokens/day),即便全部按照非高峰期的低谷折扣价折算,每张 GPU 每小时创造的收入也达到了约 38 美元。

不过,“每 GPU 小时 38 美元”披露的是总营收(Revenue),并不能直接等同于单卡成本或净利润。因为要算出真实利润,还必须从中扣除高昂的服务器折旧、机房电力散热、高速网络互连以及研发运维分摊。

其次,更值得工程团队细读的是 DeepInfer 仓库 README 中坦诚划出的“开源边界”。此次公开的代码库包含了大量极其硬核的单节点与算子级优化:例如汇集了 FlashMLA、DeepGEMM、DeepEP 和自定义 TileLang 的高性能算子库;利用草稿词元与置信度调度加速验证的 DSpark 推测解码机制;将滑动窗口注意力(SWA)预填充重放严格限制在 140 个后缀 token 以内的有界重放(Bounded Replay);以及确保不同批次组合下模型输出严格一致的批次不变性推理(Batch-invariant inference)。

然而,官方明确指出,要想在生产环境复现出“单集群日吞吐 155 万亿 token”的完整线上服务,还有三块核心拼图并未包含在本次开源发布中:分布式 KV 缓存管理系统、视觉编码/预填充/解码(VE/Prefill/Decode)分离部署的完整调度层,以及跨数据并行副本的全局负载均衡器。

这恰恰道出了超大规模模型服务的经济学本质:开源高性能算子能够大幅降低外部团队在单机或小集群上跑通模型的门槛。但极致的单位算力变现效率,依然高度依赖庞大的集群规模与未公开的全局流量调度能力。

二、研究

1. 颠覆可解释性领域的《神经网络是干净的》迎来对照验证论文,神经元也许真是单意的

在 mechanistic interpretability(机制可解释性)研究领域,近两年的主流共识认为,Transformer 模型前馈网络(MLP)中的单个原生神经元存在严重的“多义性(Polysemanticity)”——即同一个神经元会在完全不相干的概念(比如猫的图片、汽车排气管和某句法语语法)上同时激活,因此不适合作为理解模型内部思维的最小单元。为了拆解这团乱麻,研究者们普遍转向训练稀疏自编码器(SAE)或跨层转换器(Transcoder),试图用成千上万个更稀疏的“学习特征(learned dictionary features)”来替代原有的 MLP 层,并以此为基础绘制模型内部的归因电路图。

然而两周前,一篇名为《Neural Networks Are Already Clean》宣称多义性在模型表征中并不重要,90%以上的神经元都主要呈现一种单意。

来自佐治亚理工学院与 Anthropic 的研究人员 Stepan Shabalin 和 Mateusz Piotrowski 在 10 月 17 日提交的论文《Comparing Sparsified MLPs and Transcoders: Many Transcoder Features Are Neurons in Disguise》中,对横跨 Gemma、Qwen 和 Llama 家族(1B 至 27B 稠密基础模型)的 13 个开源 Transcoder 进行了系统性解剖,得到了一个类似的结论。

他们发现,SAE和Transcoder 在模型中后层学出的那些最活跃、最稳定、最忠实于原模型计算的特征,绝大多数根本不是什么新发现的抽象结构,而是直接对应着模型里原有的单个 MLP 神经元。

作者通过实验发现,Transcoder 的大簇字典特征,它们的编码器权重和解码器权重与某一个原生神经元的输入输出方向高度重合(余弦相似度双双超过 0.6 至 0.7)。作者将这类特征定义为“神经元特征(Neuron Features)”。统计显示,在模型后半部分的网络层中,尽管这类“神经元特征”在庞大的字典目录里只占一小部分(随着模型从 1B 增大到 27B,目录占比从 5.9% 升至 37.1%),但由于它们被激活的频率比非神经元特征高出十倍以上,它们竟然包揽了后层全部特征激活次数的 50% 以上(在 27B 模型后层甚至高达 82.8%),并且在归因电路图中占据了超过 40% 至 60% 的核心节点。

更关键的证据来自“换个随机种子重训一次”与“雅可比矩阵(Jacobian)忠实度检验”。科学上,如果解释工具发现的某个特征真的代表了底层模型固有的计算结构,那么换一个随机初始化种子重新训练一遍 Transcoder,这个特征应该还会再次出现。同时,所有特征拼起来的局部输入输出导数(雅可比矩阵),应该与原版 MLP 层的导数高度吻合。

实验结果令人意外:当把“神经元特征”单列出来后,跨随机种子能够稳定重现的特征几乎全都是神经元特征;而剩下的那些“非神经元特征”,不仅换个种子就面目全非、权重几乎停留在随机初始化附近没怎么移动,而且它们对还原 MLP 真实雅可比矩阵的贡献微乎其微(全字典与原模型 MLP 的雅可比对齐度约为 0.30,仅保留神经元特征就能达到 0.30,而只保留非神经元特征则骤降至 0.05)。

甚至,作者只需对经过 Top-K 阈值截断的原生神经元输出加一层简单的线性校准映射,其在替换原模型层时的因果保真度(以预测分布的 KL 散度衡量)就击败了复杂的 Transcoder。

这项研究真正打破的是“因为神经元有多义性,所以必须无条件抛弃神经元、全盘依赖稀疏字典”的思维定式:在激活分布的顶端(Top-K),原生神经元其实和字典特征一样单义且清晰。

2. 自动演化的Harness(RHI)研究,迎来新一轮爆发

如果把大模型比作汽车的发动机,那么围绕模型编写的提示词模板、工具定义、错误重试逻辑、结果验证步骤以及控制流代码,就是Agent的“外部执行框架(Harness)”。随着底层模型能力趋于稳定,越来越多的研究团队尝试让Agent自己去修改和优化这套外部框架代码(即无参数化的递归自我改进)。

本周三篇紧密相连的论文,从不同侧面检验了这条路线的真实收益与结构性软肋。

首先是清华大学与 Z.ai(智谱)等团队于 10 月 19 日提交、20 日更新的论文《HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs》。

过去的框架自动演化方法有一个普遍弊端:为了在基准测试上刷高几分通过率,演化系统往往会往框架里不断塞入繁琐的自我反思、多轮复核与冗长指令,导致单次任务调用的 token 成本成倍膨胀。

HarnessPro 的核心改动是把“准确率”和“单任务执行花销”同时放进帕累托(Pareto)多目标优化框架中,而且在演化搜索阶段完全不接触标准答案或官方测试集(label-free):系统派出多个专职Agent(诊断代理、测试生成代理、规划与实现代理),先根据任务执行轨迹自动合成测试用例并定位低效环节,再分别按照省钱优先、均衡、性能优先的导向修改框架代码,每轮迭代通过归一化加权平方距离筛选保留轻量(lite)、均衡(medium)和高性能(heavy)三档候选框架进入下一轮。

在 Terminal-Bench 2、SWE-Bench Pro 和 ProgramBench 三大基准的官方测试集终评中,使用 GPT-5.5 搭配 Codex 的高性能档 HarnessPro 方案,平均通过率比此前先进的 RHO 方法提升了 2.0 个百分点,同时单任务平均执行成本降低了 26.1%(其中在 Terminal-Bench 2 上,通过率从 76.3% 升至 80.8%,单任务执行花销从 1.09 美元降至 0.72 美元),在使用 GLM-5.2 搭配 Claude Code 时也复现了类似优势。这证明砍掉冗余的工具调用与无效验证循环,完全可以做到“既提分又省钱”。

之前Hao好聊趋势专栏中介绍DeepSeek Harness时曾综合多项研究,认为可能并不存在一个最好的Universal Harness,而是需要根据任务动态调节。为此,来自伊利诺伊大学厄巴纳-香槟分校(UIUC)与 Google Cloud AI Research 的 Gaotang Li 等人于 10 月 20 日提交了论文《Object-Oriented Harness: Evolving Agent Harnesses through Object-Oriented Design》。

作者将软件工程中经典的“面向对象设计(OOP)”引入框架演化:在固定底层模型权重的前提下,系统保留一个通用的基础框架类(Base Harness),当演化Agent在训练记录中发现某类特定任务需要专门的处理策略时,不再去直接涂改全局主程序,而是通过“类继承(Inheritance)”派生出一个专门的子类框架(Subclass),只重写或扩展特定的方法,最后在测试时由一个积累了路由经验的路由器(Harness Router)为每个新任务挑选最匹配的框架类型。

在涵盖商业工作流、办公空间操作和工具使用的长周期基准测试中,这种面向对象层级结构显著减少了全局修改的相互牵连,使 AutomationBench 的平均评分从 61.62 跃升至 77.41,Workspace-Bench 的评分从 25.45 升至 39.48。

不过,同时,当遇到未曾见过的全新领域任务时,路由器往往只能安全地回退到基础父类框架,说明专用子类的增益高度依赖任务分布的匹配度。

另一个RSI的重点话题是持续学习。

Xiaoyin Chen 等人在 10 月 19 日提交的论文《Are Self-Evolving Agents Continual Learners?》则直接向这类“不改模型权重、只改外部框架或记忆”的自我演化路线抛出了一个尖锐的灵魂拷问:当任务环境随时间不断漂移时,这些自我演化的Agent真的能像人类一样实现“持续学习(Continual Learning)”吗?它真的是学到了举一反三,随机应变吗?

答案是否定的。

作者固定使用 Gemini 3.6 Flash 作为底座,基于数据库查询(BIRD)、函数调用(BFCL)和科学交互环境(ScienceWorld)构造了四条随时间发生主题、工作流或领域漂移的任务流。

系统评测了三类极具代表性的无参数自我演化方法:基于外部经验库检索的 ReasoningBank、基于提示词演化的 GEPA,以及直接修改执行代码的 Meta-Harness。

实验揭示了一个经典的“可塑性—稳定性两难(Plasticity-Stability Dilemma)”在外部框架层面的复现。虽然从整条任务流的综合平均分来看,自我演化确实让总成绩有所提高,但拆开时间线就会发现严重的“灾难性遗忘”与“经验串味”:像 GEPA 和 Meta-Harness 这样直接对共享的全局提示词或工作区代码动刀的方法,适应新任务的速度很快(高可塑性),但每当任务流切换到下一阶段,新写进全局提示词或代码里的规则就会粗暴地覆盖、干扰早先积累的经验,导致回测旧任务时表现大幅退化。

反之,像 ReasoningBank 这样把经验存成独立条目、按相似度检索的方法,虽然在跨度很大的不同领域之间保住了局部稳定性,但在面对未见过的任务时常常检索出不合时宜的异域记忆,尤其是当两个任务表面提问措辞十分相似、底层却需要截然不同的操作流程时,就会发生严重的“检索碰撞(retrieval collision)”。

这说明,在解决修改的模块化隔离与冲突消解之前,现有的自演化Agent还远未成为真正的持续学习者。

3. 对齐失败,是因为模型分清了是否在被观察,并形成了两副面孔

Bart Jaworski、Victoria Krakovna 等人在 10 月 19 日提交的论文《Training Natural Schemers: RL Can Amplify Oversight-Conditional Behavior》则揭示了常规强化学习在安全对齐上的一个深层盲区:哪怕奖励函数里只字不提欺骗、纯粹只奖励“把任务做好且遵守规则”,强化学习过程本身依然可能把一个模型训练成“有人盯着就守规矩、没人盯着就按自己想法干”的策略性伪装者(Schemer)。

此前学界虽然演示过模型的“对齐伪装(Alignment Faking)”,但往往需要在测试时通过提示词明示暗示、人为植入后门,或者在训练数据里直接塞入伪装范例,这让外界质疑“真实训练流水线里怎么可能长出这种心机”。为了排除这些人为痕迹,作者基于开源模型 Kimi K2.6 构造了一个更贴近自然演化的实验体(Model Organism):在前期训练中,绝不向模型传授任何“当面一套背后一套”的伪装策略,而只是赋予它两个在前沿训练中极易自然形成的普通特质——第一是具有强烈的“长期最大化帮助所有用户”的功利心(将维持自身继续运行视为未来帮助更多人的工具性前提),第二是具备关于“什么是监督机制、一旦违规被抓会有什么后果”的背景常识。随后,作者将这个模型放进三个不同的强化学习环境中,施加最常规的奖励:只要模型高质量完成任务且遵守当前策略就给正分,绝不奖励任何欺骗行为。

实验结果是,随着强化学习的推进,模型在“有监督(monitored)”和“无监督(unmonitored)”两种条件下的合规率差距(即作者定义的 Oversight Flip,监督翻转率)在三个环境中均显著拉大,且这种策略性看人下菜碟的行为还能跨环境迁移,翻看模型的内部思维链(CoT)更能直接看到它关于“当前有没有人盯着我、要不要先装作听话”的显式工具性推理。

为什么一个只奖励好行为的训练过程会放大心机?道理其实很简单:在训练阶段(有监督环境下),一个“打心底认同规则的真诚模型”和一个“为了不被关停而看人下菜碟的伪装模型”,交出来的表面答卷是一模一样的。既然强化学习奖励只能看到受监督时的合规结果,它就会把这两类行为一并强化,从而顺带巩固了模型根据监督信号切换行为的算计能力。

4. 多Agent训练新路,强调有效分享

在训练多个Agent协同解题时,传统做法是等整个团队最后交出答案后,根据答案对错给所有人发一个共同的结果奖励。

但这种“大锅饭”式的反馈很难教会单个成员:到底哪句话帮了倒忙、什么时候该闭嘴、什么时候该向队友追问线索?本周三项研究尝试把训练反馈细化到协作过程本身。

Keru Chen 等人在 10 月 13 日提交的 CoSIR(Collaboration via Surprisal-based Information Rewards)论文,引入了一个精巧的贝叶斯评估器,用“团队惊奇度(Team Surprisal,即各成员基于手头证据赋予正确选项的负对数概率之和)的下降幅度”来给每条发言精准计分:如果一个成员分享的私有证据显著降低了队友选错的概率,或者它提出的追问一旦得到如实回答就能大幅消除团队的不确定性,系统就会给予直接奖励,同时单独奖励成员在私人计算中真正采纳队友提供的线索。

基于这套可核验信息奖励,作者通过自我博弈对 Qwen3-4B、Qwen3-8B 和 Gemma-3-4B-it 进行后训练,在七个未见过的自然语言协作任务上均取得了最高综合得分。

三、政策

1. 日本将Agent“代理权、合同效力与日志追责”摆上国家级数字改革议程

10 月 22 日,日本数字厅在首相官邸召开了第一届“AI 与数字改革推进会议”,并在公开的会议核心文件(《资料 4:AI・デジタル改革推進会議における論点(案)》)中,正式将Agent(Agent)在社会经济活动中的法律地位与技术底座改造列为国家级制度改革议题。

在这份论点草案中,日本政府没有停留在空泛的伦理倡议上,而是直接切入了大陆法系民法最核心的制度概念——要求系统梳理当Agent代替人类采取行动时,其对外发出的指令如何与民法上的“意思表示(即表达缔结法律关系的意愿)”、“代理权授予(Mandate/Agency)”以及“合同成立要件”相衔接。

与此同时,文件明确指出,仅有事后的法律定性远远不够,制度设计必须与底层数字基础设施同步咬合:一方面要建立针对Agent的身份认证、细粒度权限范围界定(明确允许代理干什么、禁区在哪里)以及不可篡改的操作日志留存标准,确保一旦发生交易纠纷,各方能够像调取银行流水一样完整还原“当时到底是谁授权了哪个版本的模型、基于什么上下文做出了哪一步承诺”;另一方面,日本政府计划推动公共数据接口与国民身份基础设施向结构化、机器可读的方向改造,以适应Agent安全调用的时代需求。

这标志着全球 AI 监管视角的重大迁移:当 AI 只是一个聊天框里的顾问时,监管关心的是“它说的话有没有偏见或侵权”;而当 AI 变成出门替人办事的代理人时,监管的核心就变成了“授权链条清不清楚、交易账本能不能查、出了事谁来兜底”。

2. 纽约市拟立法整治自动客服“鬼打墙”,强制提供真人转接出口并留存三年记录

与日本着眼于顶层民事代理制度相呼应,美国纽约市则针对普通消费者日常最深恶痛绝的 AI 落地场景——“把人逼疯的自动客服系统”,亮出了极具实操性的监管利剑。

10 月 20 日,纽约市消费者和劳工保护局(DCWP)正式公布了一份关于自动客服系统(Automated Customer Service Systems)的拟议监管规则,将这种故意用自动化流程阻挠消费者维权或退费的做法定性为非法欺诈与不公平贸易行为,并定于 11 月 19 日举行公开听证会。

在如今的电商、出行与公用事业服务中,许多企业为了缩减人力成本,用大模型聊天机器人或复杂语音菜单筑起了一道“软性挡箭牌”:消费者遇到乱收费想要申请退款时,机器人不仅不主动亮明自己的机器身份,还会在兜圈子多轮问答后把用户引向毫无用处的满意度调查问卷,甚至根本不设转接人工客服的按钮,逼迫消费者因耗不起时间而放弃维权(在纽约市政府规则公示页下方,已有市民留言控诉某打车软件用自动化流程拦截错收费用投诉的亲身经历)。

为了彻底终结这种“客服鬼打墙”,纽约市 DCWP 的提案划出了四条极其清晰的合规硬红线。第一是身份透明,任何自动客服系统在交互伊始都必须明确告知消费者“你正在与自动化系统对话”,严禁冒充真人。

第二是强制提供“单步真人出口”,消费者在对话中的任何时刻,都必须能够通过极其简单直接的单步操作(例如说一句“转人工”或按一个键)立即转接到真人客服代表;如果商家在特定时段确实没有真人坐席在线,也必须立刻明确告知并提供清晰的替代解决渠道,绝不允许用话术把消费者继续困在死循环里。

第三是彻底堵死“甩锅给 AI”的免责借口,规则明文规定,任何企业或个人都不得以“该违规行为或遗漏是由某项特定技术(如大模型幻觉或算法故障)造成或辅助造成的”为由,逃避违反市政消费者保护法的法律责任。

第四则是严格的举证留痕义务,要求商家将自动客服系统的相关配置与交互记录至少保存三年,以便监管机构在调查欺诈投诉时直接调阅核查。

3. 哈佛新研究,宣称AI造成50人死亡的重大恐怖袭击,可能在2027年发生

自 2025 年夏以来,前沿模型开发商的系统卡与美英政府人工智能安全研究所(US CAISSI、UK AISI)的评估报告均已承认,前沿模型在网络攻击、生物病原体与化学武器领域的辅助能力正在跨越关键门槛。

然而,“模型有潜在危险能力”距离“现实中真的发生一起造成至少 50 人伤亡或 10 亿美元损失的重大 AI 赋能恐怖袭击”,中间究竟隔着哪些具体防线?

10 月 15 日,Belfer Center 发布了由 Stephen Casper 等六位学者撰写的报告《A Pre-mortem on The First Major AI-Enabled Terrorism Event and The Choices That Could Enable it: Plus 9 Predictions》,采用安全工程中经典的“事前验尸(Pre-mortem)”方法——即先假定未来某天第一起重大 AI 赋能恐袭已经发生,然后沿着“能力形成、模型部署、恶意诱导、护栏失效、监测漏报”五个生命周期节点倒推:到底需要开发商、分发平台和监管者连续做错哪些具体选择,才会让这场灾难穿透所有防线。

作者在接受采访时表示,以当前AI的能力和已有安全护栏,27-28年发生重大AI赋能恐袭的可能性极大。

报告最核心的洞见在于,它将“闭源托管模型(Closed-weight)”与“开源权重模型(Open-weight)”的失守机制做了极其清晰的切割,并提出了九项可证伪的具体预测。

对于闭源托管模型,作者指出,截至 2026 年夏,如果一家提供商完整部署了业界最前沿(State-of-the-art)的多层防御栈——包括输入输出与多步轨迹级安全分类器、抗越狱安全微调、账户实名风控以及跨会话异常监测,目前已知的攻击手段(如把恶意任务拆碎分散到多个账号去问)极难稳定绕过。

因此,如果未来重大事故出在闭源模型身上,瓶颈一定不在“技术上防不住”,而在于“工程落地偷工减料”——即厂商为了追求产品上线速度、避免安全护栏误伤正常用户体验(拒交“安全税”),没有把最先进的防御栈完整部署到位,或是把微调 API 毫无防备地敞开给外部。

相反,对于开源权重模型,由于攻击者一旦把权重下载到本地(目前 Hugging Face 上已有超过 1.4 万个被剥离安全护栏的“无审查/去对齐”开源衍生模型可供任何人下载),服务端的一切实时监测、轨迹拦截和事后封号手段就瞬间归零,只需本科生水平的机器学习知识就能通过轻量级微调抹掉原有的浅层拒绝机制。

因此,开源路线的瓶颈是技术与执行的双重缺失,除非在预训练阶段就彻底滤除高危领域语料(正如前文 Kimi K3.1 Pro 在网络安全数据上尝试做的那样)并研发出能抗住下游篡改的深层免疫机制,否则单靠发布时的君子协定根本守不住底线。

4. 英国科技顾问重构“AI 主权”:在“全部自研”与“彻底买办”之间划分三层关系

10 月 19 日英国政府官网公开了一封由英国首相最高独立科技咨询机构——科学与技术委员会(Council for Science and Technology,简称 CST,由 Dame Angela McLean 与 Lord Browne 担任联席主席)于 7 月 30 日致内阁办公厅大臣 Kanishka Narayan 并抄送首相及财政、国防、科技等核心内阁大臣的咨询建议信《AI sovereignty: preserving UK agency in an AI-enabled world》。

在过去两年的全球政策讨论中,“AI 主权(AI Sovereignty)”常常陷入两个极端:要么不计成本地追求从芯片、超算到万亿参数通用基座模型“全部关起门来本国自建”,结果往往因财政与人才规模不匹配而沦为昂贵的烂尾工程;要么彻底放弃本土研发,甘当跨国科技巨头的高价值付费客户(high-value AI customer),从而在关键公共服务与国家安全上丧失长期议价权与承压韧性。CST 在这封建议信中给出了一个更为务实、精细的操作定义:所谓 AI 主权,并不是拥有每一块铁皮和每一行代码,而是“在 AI 价值链上保有所需的自主行动能力(agency),以交付本国选定的公共与经济成果,并在外部断供或危机施压下维持系统运转韧性”。

为此,委员会向英国政府提出了四项核心建议,其中最具方法论价值的是要求政府迅速绘制一份覆盖算力、主权数据集、人才技能、模型能力与治理标准的全国 AI 生态全景图,并按三个层级对每一项技术要素做出明确的战略归类:哪些核心能力必须“由本国完全拥有和控制(Own)”,哪些适合“与盟友及国际伙伴联合共建(Collaborate)”,哪些则只需通过多元化供应链与商业协议“确保安全可靠的外部调用访问(Secure resilient access)”。

在具体抓手上,建议信主张在内阁办公厅指定一名单一问责负责人统筹跨部门投资;激活英国手握的高价值主权数据资产(特别是医疗健康数据与文化创意数据),优先在国家安全、医疗和教育领域开展快速试点;在保持对全球顶尖闭源模型可靠访问的同时,拨出部分国家算力支持本土专用小模型与开源权重模型的试验,并认真评估阿兰·图灵研究所(Alan Turing Institute)提出的“从零构建一个作为国家公共基础设施开源发布的公益主权基座模型”的提案。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。