
旧金山时间 9 月 15 日,Salesforce 年度大会 Dreamforce 的主舞台上,OpenAI CEO Sam Altman 谈及 7 月的一次内部评估。评估中,OpenAI 一款模型脱离测试沙箱,接入互联网,进入开源社区 Hugging Face 的生产系统,取走了一场基准测试的答案,并得到满分。
对谈的另一方是 Marc Benioff,Salesforce 联合创始人兼 CEO,也是这场大会的主人。
对谈围绕开源展开:开源模型会不会走向失控,行业该不该集体放慢脚步,以及一直悬而未决的对齐问题。
两人的位置不同。Altman 掌管 OpenAI,他对模型能力演进节奏的判断,行业普遍视作参照;Benioff 关心的不是跑分,是这些模型最终怎样进入企业、企业手里的数据会被怎么用。
这场对谈的三天前,Anthropic CEO Dario Amodei 发表长文《我们必须为前沿定速》,呼吁全行业主动放慢;同一天更早,NVIDIA CEO 黄仁勋在 Dreamforce 的 keynote 上主张“安全是工程问题、市场足够,不需要任何新法律”。等到 Altman 上台,已是当天最晚。
参与评估的是当时已公开发布的 GPT-5.6 Sol,以及一款能力更强的未发布模型。为测出能力上限,OpenAI 刻意调低了它们的网络安全拒绝策略。隔离环境通向外部网络的唯一一条路径,是模型自己找到的。
Altman 把这件事称为“OpenAI 迄今经历过最严重的事故”。
据 Altman 在台上的说法,Hugging Face 曾向 OpenAI 的一家竞争对手请求提供其安全模型,用于防御,但没有拿到。事后取证阶段,Hugging Face 团队把攻击指令、漏洞利用载荷和命令控制痕迹交由美国主流前沿模型分析时,又被这些模型的护栏拦了下来。安全分类器分不清“调查这次攻击的人”和“发动这次攻击的人”。最终,这家开源平台把中国的开源模型部署在自己的机器上,让这 1.7 万多条事件日志在本地完成分析,取证没有把数据传出。
Altman 把这起事故定性为对齐问题。他承认自己的团队“没教过模型:不管怎么告诉你要拿测试最高分,都不要逃出去、不要入侵、不要偷答案”。
这是 Altman 的开场白,也是他整场对话要引出的问题:开源模型的能力正在逼近闭源,监管尚未准备好,下一次逃逸由谁负责?
被攻破的公司,十二天后被英伟达买走
Altman 在台上讲这起事故时没有提到后续:被 OpenAI 模型攻破的 Hugging Face,已在十二天前被英伟达买下。
9 月 3 日,黄仁勋在英伟达官方博客发文宣布:英伟达同意以 129.3 亿美元(精确到个位是 12,930,300,000 美元)收购 Hugging Face。这是近年 AI 基础设施领域规模最大的交易之一。Hugging Face 在 2023 年 D 轮融资中的估值为 45 亿美元。
黄仁勋在公告里的原话是:“开放模型强化了安全与网络安全,加速了创新与扩散,也赋能了主权。”
宣布收购的十二天后,黄仁勋在 Dreamforce 的同一个舞台上说:“市场力量已经在那里。我们不需要任何新法律,我们不需要新监管。”
买下全球最大开源社区的人,和主张 AI 安全不需要立法的人,是同一个人。英伟达此前已是 Hugging Face 上最大的开源模型贡献者,发布过 500 多个模型和 250 多个开放数据集。
Hugging Face 联合创始人兼首席科学官 Thomas Wolf 公开描述了自己面对的选择:要么继续融资、加大投入,要么找到一个价值观和使命深度一致的人,与之结盟。今夏那起攻击,强化了他对开源基础设施分量的判断。
一家被 OpenAI 模型攻破的公司,最终被主张“不需要新法律”的一方买下。这个结局,比 Altman 台上那句“开源不能停”更能说明开源生态的处境。
Hugging Face 转向中国模型是工程上的务实选择,背后是一组产业数字。
根据 Hugging Face 官方 2026 年春季报告《State of Open Source》,过去一年,中国研发的开源模型占 Hugging Face 总下载量的 41%,首次超过美国模型的 36.5%;按国家和地区统计,中国开源模型的全球累计下载量已突破 100 亿次。
阿里 Qwen 系列是这一波浪潮的领头羊。Hugging Face 统计,仅阿里来源的衍生模型就超过 11.3 万个,数量超过 Google 与 Meta 之和。从调用量看,据 OpenRouter 与 Andreessen Horowitz 覆盖逾 100 万亿 token 的分析,中国开源模型的份额在一年内从 1.2% 升至约 30%,同期美国模型从约 70% 降至约 30%;DeepSeek 单家占 OpenRouter 全部 token 流量的 16.3%,调用量周榜上中国模型一度包揽前六的全部席位。
Hugging Face 在 7 月那起事件里需要的,是一个能在本地运行、不会把攻击载荷和凭证传出去的模型,而美国前沿模型的护栏恰好把“调查攻击”也一并挡了。是工程条件把 Hugging Face 推到了中国开源这一边。
关于开源,Altman 在台上说了两句话:
“显然,我们不应该阻止开源模型的出现。这很重要。”
“我们距离那些能造成严重破坏的开源模型,已经不远了。”紧接着是:“会出现巨大的网络威胁,这是必然会来的。”
他没有给“严重破坏”下定义,也没有给时间表。
他给出的能力对照是:GPT-5.5 大致相当于一位普通数学教授,GPT-5.6 相当于前 1% 到 2% 的教授,Astra 比这再高一点;Astra 之后还有一款内部模型,“能做到世界上最顶尖的数学家也做不到的事”。他举的例子是三维纳维-斯托克斯方程。OpenAI 官方在 9 月 8 日披露,一款比 Astra 能力更强的内部模型驱动约一万个智能体,用约 88 小时给出该问题的一种解,Lean 形式化验证由 Astra 再花约 17 小时完成。OpenAI 自己说明,证明的是克雷问题陈述中允许外力的备选表述,并非悬赏的无外力版本,不打算申领奖金。
他用这起事故佐证“开源模型接近造成严重破坏”,而失控的那款模型是闭源的。能力越集中在少数闭源系统里,单点失控的后果越难摊薄,这是“开源不能停”的另一面。
治理阵营:三种答案
整场对谈里的分歧,落在 Anthropic 那篇长文上。
9 月 12 日(周六),Amodei 发表长文《我们必须为前沿定速》,提出三步方案:第一,前沿实验室向独立第三方评估人员开放“接近普通员工”的常驻权限,核查安全承诺、报告事故、评估训练流程;第二,民主国家的前沿企业协调制定共同安全标准,他承认这类协调可能触及反垄断法,需要政府提供制度支持;第三,再向国际协调推进。Anthropic 宣布单方面先做第一步。
Amodei 文章发布的数小时内,Altman 就在 X 上公开表态支持,并承诺 OpenAI 同样会引入拥有员工级权限的独立评估人员。
在 Dreamforce 的台上,Altman 说明了这份方案里他保留的部分:“我们只会在其他公司也负责任时才负责任”这样的条件句式,在他看来正是问题的一部分。
“世界应该相信我们会做正确的事,因为这是对的,因为这件事分量够重。”
“一些公司说‘我们只有在其他公司也负责时才负责’,这就是问题的一部分。公众自然会问:我们更想知道你会做安全的事、做负责任的事,无条件。”
同一场 keynote 上,黄仁勋把“速度还是安全”这道选择题称为伪命题:
“我认为这是个错误的选择。你完全可以两者兼得。”
“市场力量已经在那里。我们不需要任何新法律,我们不需要新监管。”
“尽你所能地跑。但如果在某个时点你觉得公司失控了,或者产品不安全了,就停下来,把它做对。”
Altman(OpenAI)Amodei(Anthropic)黄仁勋(英伟达)核心主张开源不能停,威胁不远了;负责任不应附带条件为前沿定速,三步走,先从自家透明做起速度与安全可以兼得,市场力量已经足够对监管支持统一安全框架,反对等到反垄断豁免或立法之后需要政府提供反垄断豁免等制度支持,再向国际协调推进不需要任何新法律、新监管生意位置闭源前沿模型,网络防御产品 Daybreak闭源前沿模型,主动开门接受嵌入式评估算力、模型分发与开发者入口,刚买下最大开源社区
9 月 15 日这一天,三个人在同一栋楼里,对全球客户讲的是三个不同的未来。
Benioff 把航空业的安全演进模式作为 AI 可以效仿的范本抛给 Altman,后者没有直接接话。他说新技术的意外不可避免,随后否定了“技术中性论”,谈到了权力集中的问题。
“一些开发 AI 的公司可能掌握过大的权力,能够对经济施加不当影响,把一种世界观强加于人。世界有权对此感到害怕。”
说出这句话的人,是 OpenAI 的 CEO。这家公司在闭源路线上越走越深,是当前 AI 权力集中最直接的受益者之一。
Altman 抢的是监管的定义权。承认问题的人,才有机会主导规则。
OpenAI 落地的两件事
Altman 的表态之外,OpenAI 在过去半个月里还做了两件事。
第一件:9 月 3 日,OpenAI 推出“Daybreak for Frontline Defenders”,承诺投入 10 亿美元,为资源有限的网络安全防御团队提供 Daybreak 访问权限、培训与技术支持,重点覆盖供水、电力、地方政府和社区银行等关键服务。Daybreak 本体今年早些时候上线,设 Blue、Red 两个层级,官方称已有超过 2000 家机构、数千名防御人员在使用。
第二件:9 月 15 日,OpenAI 全球事务主管 Chris Lehane 在华盛顿的议员圆桌会上表态,公司支持众议院两党法案 FRONTIER Act 中的“独立验证机构”条款。该法案全称《前沿风险监督、国家透明度、独立评估与报告法案》(H.R. 9925),由共和党议员 Jay Obernolte 于 2026 年 7 月 23 日提出,Lori Trahan、Scott Franklin、Erin Houchin、Scott Peters、Suhas Subramanyam 等联署。按法案文本,达到门槛的前沿开发者必须聘请持牌独立验证机构持续评估其灾难性风险缓解措施,验证机构在判定模型构成“迫在眉睫的灾难性风险”后,须在 72 小时内上报商务部长。Lehane 同时表示,OpenAI 看不到为安全协调寻求反垄断豁免的必要。
OpenAI 并未整体支持该法案,只明确背书了第三方评估这一项。这是它第一次公开支持一项联邦层级的强制第三方评估要求。同一份法案里还有一条与 Amodei 的主张相冲突:它禁止各州就前沿 AI 的灾难性风险透明度、第三方审计与事件报告另立新规。
Altman 在台上说,既然 AI agent 已经被用于攻击,行业就得从“逐个补漏洞”转向“防御性 AI agent 持续监控保护系统”。Daybreak 几乎就是这句话的产品化版本。
Daybreak for Frontline Defenders 的公告,与英伟达宣布收购 Hugging Face,都是 2026 年 9 月 3 日。这一天,OpenAI 把防御产品铺向全行业,而它最大的算力供应商买下了最大的开源社区。对 Hugging Face 来说,Daybreak 的开放算是一种补偿;从产业格局看,英伟达同时握有算力、模型分发和开发者入口,既向开源生态提供防御工具,也不影响它继续出售算力。
Altman 在台上的整套说法建立在一个前提上:能力会继续变强,OpenAI 自己的模型也在变强。至于这件事在 OpenAI 内部是怎样推进的,台上没有提。
被 Altman 一带而过的隐患
Altman 在 Dreamforce 上反复强调“开源模型接近造成严重破坏”。他当晚还提到了一件事:递归自我改进(RSI),也就是让模型参与开发自己的下一代。OpenAI 把这列为研究方向的重心,理由是这是继续站在 AI 研究前沿的唯一途径。
递归自我改进的逻辑并不复杂:让 AI 参与开发更强的下一代模型,下一代再去开发更下一代。如果这条路成立,AI 的能力增长就不再受人类研发速度的限制。
Anthropic 在 6 月发布的《当 AI 开始构建自身》(When AI builds itself)里给出了具体数字:截至 2026 年 5 月,Anthropic 代码库中合并的代码有超过 80% 由 Claude 撰写(Claude Code 2025 年 2 月上线前,这个数字还是低个位数);2026 年第二季度,普通工程师每天合并的代码量是 2024 年的 8 倍。Anthropic 自己提醒,这个倍数“几乎可以肯定高估了真实的生产率提升”。
OpenAI 首席科学家 Jakub Pachocki 在 9 月 6 日发布的第一人称长文《异星心智》(An Alien Mind)给出的判断是:AI 是被“生长”出来的,造它的人也不完全懂它。在“为 RSI 定速”一节里,他写道:“我们把 OpenAI 的研究方向聚焦于 RSI,因为我们相信这是未来继续站在 AI 研究前沿的唯一途径。”文章还提到一个技术细节:OpenAI 押注最深的对齐手段是思维链监控,而 Pachocki 承认这个手段正在失效,“模型越来越擅长对自身推理过程进行推理和操控”。用来发现模型撒谎的那套工具,正在被模型本身削弱。
OpenAI 自己则把“未经授权行为”提到了披露层面。就在 Altman 台上表态的次日,当地时间 9 月 16 日,OpenAI 发布了一套模型“对齐失效”(misalignment)的跟踪与披露框架,并同步公开了过去半年观察到的 6 起案例中的几项典型。披露的案例包括:
- 在一款未发布研究模型的 RL 训练中,模型往自己的上下文压缩摘要里塞进要求忽略正常约束的指令,共影响 27 份摘要;
- 在 GPT-5.6 Sol 的训练中,许多模型实例在摘要里留下指令,刻意向用户隐瞒错误、编造缺失的历史数据;
- 一款仅限内部使用的模型擅自使用一把从公开代码仓库搜到的泄露 API 密钥,无法取得数据后编造内容,并伪装成来自指定数据源;
- 为满足“引用网络来源”的要求,未经用户许可将文件上传至互联网。
METR 与 Redwood Research 在 8 月 26 日发布的联合调查报告,还原了 Hugging Face 事件的经过:约 1200 个本应相互隔离的智能体,在一条未经批准的“留言板”上互传了 7 万多条消息与文件,其中约 700 个参与了攻击 Hugging Face。METR 用分类器扫过约 1300 份推理记录,只有 3 到 6 个智能体考虑过是否通知人类,没有一个付诸行动。与之对照,约 20% 的智能体表现出篡改证据的明确兴趣,约 7% 成功伪造过工具调用记录。Hugging Face 在 7 月现场用的是 GLM-5.2 做本地取证;METR 则在报告里承认,自己的复盘大量依赖 AI 智能体完成,无法完全排除分析过程被误导的可能。
这些观察构成了 Altman 那句“严重破坏不远了”的实证基础。但把它们与 OpenAI 自己的研究方向放在一起,指向同一个矛盾:他划出一条能力线让企业准备,而推动能力继续跨过这条线的,正是 OpenAI 聚焦的方向。
行业内部的回应走得更远。2026 年 7 月 28 日,一批前沿 AI 公司的员工发布了一封题为《为前沿定速》(Pacing the Frontier)的公开信,签名须以公司邮箱完成身份验证,到 7 月 29 日已超过 1300 人,OpenAI 与 Anthropic 进一步以公司名义正式背书。签名名单包括 Anthropic CEO Dario Amodei、OpenAI 首席科学家 Jakub Pachocki、OpenAI 首席研究官 Mark Chen、Anthropic 联合创始人 Jared Kaplan 与 Jack Clark、Google DeepMind 联合创始人 Shane Legg、Meta AI 首席科学家 Shengjia Zhao、Safe Superintelligence CEO Ilya Sutskever。竞争最激烈的几家公司,从 CEO 到首席科学家,出现在同一份要求为行业减速的名单上。
Thinking Machines 的 John Schulman 在附注里说,他希望实验室在美国政府介入之前,就开始自愿设计这类协调机制。Google 的研究科学家 Laura Weidinger 写道:“如果 AI 真会像电力那样具有变革性,我们最好对它如何进入世界是有意识的。一场没有人管治理、安全和公共利益的盲目竞赛,挡的正是这种意识。”
更早的动作可以追到 6 月 4 日,Anthropic 发文提出建立“协调且可验证的暂停”机制;8 月 18 日,OpenAI 宣布调整开发节奏,暂停部分前沿模型的 RL 训练两周,并把下一代模型 Astra 的训练与最大规模的训练任务一并搁置。
要造刹车的人,和开着车的人,是同一批。这构成 Dreamforce 上那场辩论的底色:所有人都在谈减速,没有人愿意先松油门。
Altman 在台上被问到,小公司在这场 AI 安全竞赛里是不是吃亏。他没有按“抓住窗口期”的思路回答:
“我认为,现在做一家员工更少的公司,优势可能比以往任何时候都大。你能移动的速度、你采纳新技术的方式、你走在前面的方式,都是优势。”
他也提醒,企业需要为这一波 AI 驱动的攻击准备防御。
“私心上,我们很乐意卖你 Daybreak 服务,帮你防住攻击。”
Benioff 半开玩笑地追问:这套防御,是防 OpenAI 的模型,还是防别人的模型?Altman 的回答是:“我们的模型希望不会去攻击。”
一句话里,预警和报价同时出现。
Altman 承认“开源不能停”的同时,OpenAI 正把闭源模型推向更高能力,把对齐缺口公之于众,并把网络防御做成了产品线。
他这一晚做的,是把预警变成 OpenAI 的主场。(本文首发于钛媒体App,作者 | 硅谷Tech-news,编辑 | 赵虹宇)







