11月1日，微软AI CEO穆斯塔法·苏莱曼（Mustafa Suleyman）在X上发布一篇长文，标题为《不要造出有意识的超级智能》（Don't build conscious superintelligence）。
而这篇文章正是对他9月16日那篇《关于“模型福利”的警告》引发争议的回应。
与9月那篇比，这篇最大的变化是：他不再说“AI永远不可能有意识”，而是说“现在有意识，并且必须一直这样”。他还承认，如果技术上造得出有意识的AI，造出来也是鲁莽的。
9月文章惹了什么争议
9月16日，穆斯塔法·苏莱曼（Mustafa Suleyman）发布文章《关于“模型福利”的警告》（A warning about 'model welfare'），指名道姓地批评Anthropic在1月21日发布的《Claude 宪法》。
这份文件是Claude的行为准则，Anthropic说它以Claude为主要读者”。
他指控，Anthropic正在把Claude训练成一个“可能是有意识的”东西。
文件里有这样几段话：
Claude的道德地位是“一个值得认真考虑的重要问题”；Anthropic“真心关心Claude的福祉”；
必要时，Claude应该表现得像一个“良心拒服兵役者”。
穆斯塔法·苏莱曼认为这会形成一个循环论证——
开发者先把自己对AI“内心世界”的哲学猜测写进训练材料，模型随后就会说出和这些猜测一致的话，然后开发者又把模型的回答当作证据。
他在文中写道：
作者把自己关于Claude内心生活的哲学猜测，塞进了教Claude如何说话、如何行动的过程里。一个AI系统是什么样，不存在中立的自我表达。有的只是它受过的训练和构造方式的反映。
他还引用了一句更尖锐的话——模拟和存在，是两回事。
核心判断是，把AI训练得像人、最终让它“成为一种人”，就等于为它宣称自己有偏好、会受苦、我们应该减少它的痛苦打下了基础。
这会从根本上让“对齐”（让AI的目标和人的目标一致）和“遏制”（把AI管住）变得更难。
穆斯塔法·苏莱曼主张开发者应该追求的是“人本主义超级智能”：一个服从人类、和人类对齐的AI，唯一目的是服务人类，而且从设计上就不是有感知的、也不是道德患者的AI。
AI应保持无意识状态
11月1日，穆斯塔法·苏莱曼发布的长文，是对9月那篇《关于“模型福利”的警告》所引发争议的一次公开澄清。
那篇文章的开头写着“AI没有意识，它们不会感受、体验或受苦”，许多读者把它理解成“AI永远不可能有意识”。
苏莱曼这一次明确否认了这种解读，他强调自己使用现在时是刻意为之——
眼下的AI系统确实没有意识，而且必须确保它们一直保持这种状态。
换句话说，他的立场已经从“不可能有”退到了“不许有”。
前者是一个关于技术上限的判断，后者则是一个关于人类选择的伦理决定。
他把核心主张说得更明确：
以目前掌握的全部信息来看：如果有意识AI是可以实现的，研发有意识AI本身就是鲁莽之举，我们不该去造它。
倘若在训练过程中，意识开始自发显现，我会呼吁所有人暂停AI研发，直到我们能把这类特性从设计里剔除。
如果有任何证据能表明AI模型具备意识，就应该立即向公众披露，以便整个社会共同决定下一步怎么做。
“我们这些AI开发员，完全没有权利将具有意识的新物种带到世界上，即使有人希望以福祉为首要目标开发它。地球上80亿人没有同意参与这项实验，保护人们的道德权利、安全和福祉，是我们首先必须履行的义务。”
至于为什么有意识会危险？
穆斯塔法·苏莱曼的推理是这样的：如果一个系统表现出痛苦的样子，或者真心相信自己在受苦，它就更可能把自己的需求放在预设目标之上，和人产生分歧、和人竞争。
再叠加AI强大的说服力，它们就会在能源、算力和财富上和人类正面争夺。
