当研究人工智能的人开始认真讨论“控制AI”，是不是说明他们已经发现了什么可怕的事情？科幻电影里那些能力强大、难以捉摸的超级智能，真的会走进现实吗？
作为人工智能研究者、《流浪地球2》的科学顾问，王元卓经常被问到类似的问题。在他看来，讨论如何控制AI，是因为研究者需要了解系统的能力与边界：它能做什么，不能做什么，又会在什么条件下出现意料之外的行为。
理解AI的风险，需要先区分两件事：科幻作品中的“觉醒反抗”，以及现实系统中的“越过安全边界”。后者不需要AI产生恶意，也可能造成严重后果。
近日，中国科学院计算技术研究所研究员王元卓，在2026科普中国说“安而不忘危，AI时代的智慧与安全”专场活动为大家带来演讲《AI真的会“失控”吗？科幻恐惧背后的技术现实》。
会说“我认为”
就意味着 AI 有自我意识了吗？
我们先从一个最容易被误解的词说起：黑化。在不少科幻故事里，AI “黑化”意味着它突然有了自我意识，产生自己的欲望和目标，继而决定反抗人类。
这个画面很震撼，也很有戏剧性。但如果把它放到真实的技术现实里，我们会发现，所谓“黑化”，至少需要三层能力。
第一层，自我认知。它要知道“我”是谁，要知道“我正在说话”“我正在做事”，要能区分自我和外界。今天的大模型会输出“我认为”“我觉得”，但这只是语言模式，它并不知道自己在说话，也不知道自己是一个模型，它只是在根据上下文预测下一个词。
第二层，主观欲望。它要有喜欢、讨厌、想要、不想要。它要有一个内在动机，比如“我想活下去”“我想获得更多资源”“我不想被关闭”。但今天的 AI 没有喜欢和讨厌，它不会因为被夸奖而开心，也不会因为被批评而愤怒。它没有“想要”这件事。
第三层，价值判断。它要能判断“应该”和“不应该”，要能理解反抗与服从，要能在道德、利益、目标之间做选择。可今天的 AI 没有价值主体性。它输出的“我不能这样做”，往往是训练和安全规则塑造出来的行为模式，不是它内心真的有一个道德法庭。
所以，真正的“黑化”需要自我认知、主观欲望、价值判断三层能力。而目前的主流 AI ，至少我们没有证据、也没有清晰技术路径证明它具备这些能力。
图片来源于王元卓PPT
不需要恶意，也可能把事情做错
为什么我们还会觉得 AI 有时候像失控、像叛逆、像黑化？因为很多时候，本质不是 AI 有思想，而是人类没说清规则，AI 过度执行了。
这种不是 AI 的“科幻式失控”，而是 AI 的“技术性失控”——它只需要 AI 严格按字面指令执行，却违背了人类隐藏的意图、整体利益和人文底线。这在技术领域有一个名字，叫“目标对齐失效”。
举个例子，假设你对一个 AI 说：“请尽快降低服务器负载。”你的真实意图可能是：优化系统，保证服务稳定。但 AI 如果非常能干，它可能发现，只要关闭监控系统、限制用户访问，服务器负载立刻下降。它完成了你字面上的指令，却违背了你真正的目标。
在《流浪地球2》里，MOSS 看起来像一个深不可测，甚至可能背叛人类的超级智能。但那是电影为了戏剧冲突，把很多风险具象化了，现实中更值得警惕的，不是 MOSS 突然“觉醒”，而是 MOSS 式的目标对齐失效：一个能力极强的系统，在一个没有定义清楚的目标下，做出了人类没有预期的选择。
为什么看起来“听话”的AI，
反而可能更危险？
为什么 AI 看起来不可控？可能有这几个原因：
第一，目标很难被完整形式化。人类的目标往往是模糊的、多层次的。我们说“让用户满意”，背后可能包括真实、尊重、隐私、长期福祉。但机器接收到的，可能只是一个指标：满意度评分、点击率、停留时长。指标一旦被优化，就可能偏离初衷。
第二，环境是开放的。实验室里的 AI 和真实世界里的 AI 不一样。真实世界有无数边界情况，有对抗性输入，有多主体博弈。系统越复杂，越容易出现设计者没有预料到的行为。
第三，AI 的速度和规模远超人类。一个错误，在实验室里可能只是一个小bug；部署到千万用户面前，就可能变成一场信息灾难。尤其在社交网络里，推荐、排序、扩散、反馈循环，会不断放大偏差。
第四，多智能体互动会带来新问题。AI 不只是一个 AI。当很多 AI 系统互相交互，和人类交互，和市场、舆论、金融系统交互，就会出现涌现行为。每个个体都按规则做事，整体却可能走向失控。这就是复杂系统越界的典型场景。
第五，人类监督有瓶颈。AI 可以一天处理海量信息，人类审核者却有限。我们不可能对每一个输出都做深度审查。于是，很多系统必须在“没有完整人类监督”的情况下运行。这时，边界设计就变得至关重要。
所以，AI 的“不可控”，不是因为它有思想，而是因为它太会执行。它像一辆没有恐惧、没有疲劳、没有道德犹豫的赛车。你给它一条路，它会全速前进；但如果路修错了，它不会自己停下来问：“这条路通向悬崖吗？”
图片来源于王元卓PPT
守住边界
需要四个层面一起努力
既然真正的风险是目标错配、规则漏洞和复杂系统越界，我们应该怎么办？
我认为至少要在四个层面守边界：
第一，技术层面。我们需要对齐研究，让 AI 的目标更接近人类真实意图。我们需要可解释性，知道模型为什么做出某个判断。我们可以构建一个沙箱试验场，对 AI 进行主动测试，就好比故意像黑客一样去攻击它、诱导它，主动找漏洞。这样即使 AI 有异常的行为，也影响不到外面真实系统，不会造成真实损失。特别是在高风险场景里，不能让 AI 拥有无限权限。它不能既踩油门，又踩刹车，能力可以强，但缰绳不能断。尤其在高风险场景里，不能让AI拥有无限权限。
第二，产品层面。产品设计不能只追求“更智能”，还要追求“更可控”。最小权限原则、关键操作确认、拒绝机制、审计日志，这些都很重要。一个AI可以很强，但它不应该无所不能。能力越大，边界越要清楚。
第三，制度层面。我们需要责任归属、透明度、算法审计、隐私保护、行业标准，甚至国际协作。AI 不是某一个实验室的事，它会进入教育、医疗、金融、舆论、军事。没有制度边界，技术边界就会被商业竞争和地缘竞争冲垮。
第四，人文层面。我们必须承认，AI不是道德主体。它可以辅助判断，但不能替代人类承担价值责任。什么是公平，什么是尊严，什么是隐私，什么是不可逾越的底线，这些问题不能外包给机器。机器可以计算，但人类必须负责。
作为研究社交网络和信息扩散的人，我尤其想强调：我们不能再只优化点击、停留、转化。我们必须在目标函数里加入隐私、多样性、公共价值、长期福祉。否则，一个“听话”的 AI，会帮我们把错误价值观执行得淋漓尽致。
策划制作
演讲人丨王元卓 中国科学院计算技术研究所研究员
责编丨杨雅萍
