抓 住 风 口 · 看 懂 趋 势
你好，我是王煜全，这里是王煜全要闻评论。
最近最火的事情，可能是“AI 危机论”又起来了，甚至还引起了美国股市的小幅震荡。
最开始，9 月 8 日，Anthropic 一位做了三年大模型预训练的研究员 Jacob Coxon 公开辞职，并说道，Anthropic 和 OpenAI 正在打造能够自我改进的超级智能，是在拿人类的生命下注。
Jacob Coxon
紧接着，Anthropic 对齐科学的负责人公开应和，说未来十年，AI 导致人类灭绝的概率超过 10%，还补了一句，说至今还没找到解决超级智能对齐问题的方案。
后来，9 月 10 日，Anthropic 披露，已经发现并阻止了 5 起可能被用来支持生物武器研究的案例。
几天后，前 DeepMind 的一位安全研究员也公开说，他真心认为先进 AI 可能杀死所有人。
于是，全网又弥漫着一股 AI 恐慌的氛围。
AI 毁灭人类，过去几年这种话大家听过不少。那这一次，究竟是末日真的来了，还是又一个“狼来了”？
我们认为，情况虽然没有这些人说得那么吓人，但安全问题，过去只存在于理论推演，现在正在变成值得探讨的一个可管理的工程问题。
PART 01
踩刹车
首先，这次不是简单的“狼来了”。
最典型的进展，还是近期大热的 GPT-6 Astra。OpenAI 在发布之初，就把 Astra 划进自己安全框架里的“Critical 网络安全能力”级别。
这是什么意思？
就是 OpenAI 认为，这个模型已经高过“会写黑客代码”这个层次。
给它合适的工具和权限后，它就能在防护严密的真实系统里，寻找此前没人发现的漏洞，并且做成可用的攻击方案。
OpenAI 还做了一个很关键的测试。
为了避免题目早已混进训练数据，它专门拿今年 6 到 8 月才披露的 20 个高危漏洞重新测试。结果 Astra 不但能利用已有漏洞，还在过程中发现并利用了两个此前未知的“零日漏洞”，也就是连软件厂商自己都还没发现的漏洞。
当然，并不是说，Astra 已经走到了走到毁灭人类那一步，但模型的危险能力，确实成为了 AI 大模型公司极其重视的一方面。
可想而知，既然有危险，公众最直觉的反应，自然就是让 AI 慢下来，甚至停下来。
但 AI 有可能停下来吗？客观上说，不会。
一方面，AI 能找到和利用 IT 系统的漏洞，与毁灭人类之间，显然还有极其遥远的距离。
另一方面，更现实的是，企业之间、国家之间也有竞争，谁先单方面减速，谁就要承担被对手超过的风险。
据报道，OpenAI 今年夏天的某个时间段，确实短暂踩过一次刹车，暂停了部分高风险工作，但做完安全加固之后，Astra 照样发布，研发照常继续。
这个动作其实很有代表性。
真正的做法，不会是简单的一刀切，而是危险能力出现后，企业会踩一脚刹车，补上护栏后，再继续往前开。
而且，这只是单个企业的自发行为，整个产业并不会因此停摆。
PART 02
谁能拿到
可见，真正的问题就变成了，看一项技术危不危险，不能只看它有多强，还要看谁能拿到这些危险的能力，拿到之后管不管得住。
这就像是，核武器当然很危险，但核技术的治理核心从来不只是核裂变理论，是核原料的浓缩能力。
说白了，原理可以公开，但关键材料和完整工程体系一定要可以被严格控制。
所以，评价新技术的风险，可以用一个简化模型，那就是，危险 = 能力 × 失控概率。
这么看，未来 AI 比较有风险的点，主要在于开源大模型的失控。
所谓开源大模型，严格说，是公开了模型权重。所以，模型控制的关键，是模型权重能不能被下载到第三方的机器上，脱离原厂运行。
如果可以，就容易失控。因为第三方可以是任何人或组织。
Anthropic的CEO，Dario Amodei
闭源模型，再怎么有问题，总有公司在控制它。出了漏洞，公司能统一打补丁，发现有人滥用，公司能封账号、调权限，甚至直接下线大模型。
也就是说，闭源模型，始终有一条持续干预、避免失控的通道。
反观开源大模型，跑在全球个人的、私有的服务器上，原厂没办法管。
出了事，原厂只能发个新版本、呼吁大家升级，但没法让散落在世界各地的旧副本全部消失或者失效。
那么，新的问题也就来了，开源模型距离拥有这个足够危险的能力，还有多久？我们现在该担心吗？
如果还差三年、五年，大家还可以不那么担心，可以有时间研究补救措施，但其实，这个差距已经在按月计算了。
2025 年的时候，产业普遍认为，开源模型和前沿闭源模型的差距是 6 到 10 个月。
到现在，我们也还是认为，至少在网络安全这一个维度上，差距仍然可能只有几个月。
今天还只存在于最前沿闭源模型里的那些所谓危险能力，开源模型很快也就会具备了。
所以，我们判断，AI 不会因为危机论停下来，真正会变的，是 AI 危险能力的扩散方式。
这不是说，开源就会结束，未来可能出现的，是新的管理方式。
比如，最前沿、最高风险的能力，访问方式越来越受控；已经成熟、风险较低的能力，继续开放，发挥生态价值。
但究竟谁会推动这个变化，现在还很难下结论。可能是监管，可能是行业自己的安全自觉，也可能是商业逻辑。
我们觉得，前两者不一定会是决定性的，但第三点却最有可能会决定最终的走向，值得继续观察。
现在很多公司做开源模型，其实一种竞争手段，想着先把生态做起来，把开发者吸引过来，也就能提升自己的影响力。
但当模型已经足够强，企业能够直接靠 API 和服务获得可观收入时，也许就没有特别强的动力去把自己最强的模型开放出去。再加上开源最强模型的巨大风险，很有可能促成开源模型最终走向闭源。
当然，这可能反倒会造成这些开源模型公司，在闭源后赢利能力上升。
因此，AI 到底会不会毁灭人类，这个问题可能很难回答。但当 AI 真的跨过某些危险能力线以后，产业确实需要确定，它该以什么方式进入社会。
最后，你觉得，未来 AI 能力应该无限制开放吗？又应当注意什么？欢迎在评论区聊聊。
前哨 AI 小课 · 第六季
一顿火锅钱，带你紧跟 AI 浪潮
创新地图 · 招募
由于业务发展，创新地图想招募一位负责市场活动的伙伴。感兴趣的朋友可以扫码上传简历，希望在未来的工作中能见到你！创新地图招聘新人！
科技特训营
