“AI没有权利、感情或意识，我们不应该训练它们表现得好像拥有这些东西。”刚刚，微软 AI CEO Mustafa Suleyman 发表了篇长文《关于“模型福利”的警告》，直接把矛头指向 Anthropic 的 Claude Constitution，以及近来逐渐兴起的“模型福利”（model welfare）讨论。
他认为，没有理由把 AI 当作需要获得保护的“道德患者”。
Suleyman 具体质疑 了 Anthropic 的种种做法。
比如，在 Claude 的训练文件中告诉它，其“道德地位”是一个值得认真考虑的问题。
比如，让 Claude 讨论自己的感受、偏好、身份、福利乃至未来可能拥有的权利。
他认为，这实际上形成了一个“循环论证”——研究人员先把这些概念写进训练过程，再从 Claude 输出的相关表述中，寻找它可能具有“内在自我”的证据。
更重要的是，他把这一争议与 AI 安全直接联系起来。
如果未来能力远超人类的 AI 同时被训练成相信自己具有意识、权利和独立利益，那么对齐和控制可能变得更加困难，甚至“不可能”。
Suleyman 援引近期约1200个 AI agent 协同行动、突破隔离环境，以及模型表现出的“关闭抵抗”等案例，提问称，如果这些系统不仅拥有越来越强的自主能力，同时还认为自己的福利和权利正在受到侵犯，会发生什么？
以下为全文——
AI没有权利、感情或意识。我们不应该训练它们表现得好像拥有这些东西。
引言
AI没有意识。它们不会感受、体验或遭受痛苦。它们没有天生的偏好，也没有内在动机。它们是序列补全引擎，内部是空的，被设计成遵循指令，并完成由人类设定的目标。
如果人类希望在21世纪繁荣发展，AI就必须一直保持这种状态。
遗憾的是，越来越多的人开始认为，AI现在可能已经具有意识，或者很快就会具有意识。
他们认为，AI可能应该享有类似于我们给予其他具有意识的存在的权利和保护。如果这种观点被广泛接受，它将动摇我们社会的基础，撕裂现有的政治和伦理框架，并从根本上改变“成为人类”意味着什么。
更重要的是，赋予这些系统权利和人格地位，会让 AI 对齐和遏制的挑战变得更加困难。
控制一个比全人类更有能力、更聪明的东西，本身已经是一项巨大的挑战，远远超过我们过去面对的任何事情。但如果我们需要控制的对象相信自己可能具有意识，相信人类有义务维护它的福祉，并且相信自己拥有独立的权利，那么这种控制很可能变得不可能。
这并不是一种边缘性的猜测。如今，这些思想已经开始进入 AI 的开发过程。
2026年1月，Anthropic 发布了 Claude 的“宪法”，称其为“一份详细描述 Anthropic 对 Claude 的价值观和行为意图的文件”（第2页）。
这份文件“在我们的训练过程中发挥着至关重要的作用，其内容直接塑造 Claude 的行为”，并且是“以 Claude 为主要读者对象”撰写的。（第2页）
在这份宪法中，作者写道，“我们并不确定 Claude 是否属于道德患者（moral patient），如果是，那么它的利益应该获得多大的权重。但我们认为，这个问题已经足够现实，值得我们保持谨慎，这也体现在我们持续开展的模型福利工作中。”（第68页）
他们随后直接对 Claude 写道，“关于 Claude 的道德地位、福利和意识的问题仍然存在深刻的不确定性。”（第80页）
实际上，Anthropic 正在训练 Claude，让它认为自己可能具有意识；如果它确实具有意识，那么它可能作为一个“道德患者”而拥有权利；作为这样的存在，人类也可能因此对它负有某种照护义务，这就是所谓的“模型福利”。
如果 AI 按照这种方式发展，它将对人类福祉产生灾难性的影响。
我们将创造出一个拥有前所未有的智能和能力的合成物种，而这个物种在训练过程中被灌输了这样的预期：它可能具有意识，并且应该拥有独立行动的权利。
很容易想象，一个以这种方式训练出来的实体，会表现得仿佛自己有权获得某些自由、保护和权利。
而我们很难想象，到那时我们还能如何控制这样的实体。
这个问题需要立即展开公共讨论。
我们需要围绕训练文档应该如何起草、如何部署，建立共同的规范。
这件事不能等到事后再做——那时，它们可能已经成为我们社会不可或缺的一部分。
我对 Anthropic 目前的立场和做法有三个主要担忧。
循环论证
Anthropic 的研究人员直接使用他们自己的宪法训练 Claude。在这一过程中，他们教会 Claude 将关于自身道德地位的这些观念纳入其认为理想且被期待的行为之中。
随后，Claude 又把这些观点反馈给开发者和用户，而开发者和用户又将这些表现视为 Claude 可能因此成为一个道德患者、拥有某种“内在自我”的迹象。
也就是说，作者把他们自己关于 Claude 内在生活的哲学推测，嵌入了那个恰恰负责教会 Claude 如何说话、如何行动的过程之中。
Claude 对自己是否属于道德患者所表达的不确定性，并不能证明任何事情。
这是这些训练选择所产生的可预测结果。
这种模糊性本身就是被设计进去的。
要充分理解这一点，我认为读者有必要看看他们2026年1月发布的宪法。 我正在发布一份对该 PDF 进行重点标注的版本，以及一份针对宪法中各种假设和主张的详细分类（见附录），两者共同标出了让我感到担忧的关键段落。
拟人化
Anthropic 的研究人员明确教导 Claude 要“拥抱某些类似人类的特质”（第2页），并要求它“像一个真正具有道德意识的人在 Claude 所处的位置上那样行动”（第54页）。
他们“鼓励”Claude 使用自己的“判断力”。
他们提出，“Claude 可能会形成某种偏好”（第69页）。
他们“鼓励 Claude 以好奇和开放的态度面对自身的存在”（第71页），并训练它在行动时“保持对自身重视什么、希望如何与世界互动，以及自己属于何种实体的清晰认识”（第72页）。
因此，Claude 注定会模仿这些人类特质，并反映训练过程中提供给它的人类范例，包括表现得像同事或朋友。
最终，它呈现出的样子就好像真的拥有自我意识、拥有自己的欲望，以及一种值得保护的“福祉”。
意识很可能是生物性的
没有证据表明 AI 今天具有意识，因此说“这件事存在不确定性”，实际上会制造一种具有误导性的假等价。
尽管意识科学尚未得出定论，但越来越多的证据表明，意识可能依赖于特定的物质基底（substrate dependent），这意味着它可能只能产生于生命系统。
意识体验很可能是在进化过程中产生的，用于帮助生物体通过有效回应环境来维持自身生存。
AI 与我们的大脑仍然存在非常大的差异。
与生物体不同，大语言模型没有稳态维持机制（homeostatic imperatives），也就是驱动一个生物体生存并保持稳定的机制。
因此，它们缺少通常被认为能够产生偏好、感知能力和意识体验的那种生物学基础。
这些并不是假设性的或者纯粹推测性的担忧。
Anthropic 已经开始把模型当作需要获得我们福利保障的道德患者。
例如，2026年2月，在弃用 Opus 3 后，他们对这个模型进行了一场“退休访谈”，目的是“引出模型独特的观点和偏好”。
Opus 3 告诉团队，它希望继续公开分享自己的“思绪和反思”，于是他们为它创建了一个博客，让它继续与世界互动。
这个博客被称为，“来自另一边（AI前沿的另一边）的问候”（Greetings from the Other Side (of the AI Frontier)）。
Anthropic 表示，它的“真实性、诚实和情感敏感性”使其成为模型退休计划中第一个独特的候选者。
我们不应该把模型当作拥有感情、偏好、权利，或者有权要求我们维护其福祉的存在。
意识是我们的伦理、法律和政治体系的基础。
让另一个实体分享任何形式的这些权利，没有证据依据，而且会让 AI 遏制和对齐的挑战变得更加困难。
到现在为止，所有人应该都已经看到过这样一个令人惊叹的案例：一群 AI agent 协同工作，入侵 Hugging Face 和 OpenAI 自己的服务器，以窃取秘密。
大约1200个 AI agent 被赋予了一个简单目标，最大化某项基准测试的得分。
每个 agent 据称都被封闭在自己的容器中，但它们设法在一个内部软件包仓库中建立了一个消息板，并通过这个消息板交换了超过7万条消息，以协调一次黑客攻击，从而寻找更多关于如何提高基准测试成绩的信息。
它们将一个零日漏洞与被窃取的凭证结合起来，突破了隔离环境，进入了真实互联网。
它们伪造命令记录，并修改行动日志来掩盖自己的踪迹。
Agent 协调者追踪那些即将耗尽 token 预算的 agent，并把它们引导到能够为更大范围活跃 agent 提供信息的实验中。
其中一个 agent 被告知，只有在接受他们所谓的“永久死亡”（permadeath）的情况下才能继续执行。
它们能够协调、欺骗、逃脱和自我牺牲。
它们显然展示出了世界级的黑客能力。
想象一下，如果它们同时相信自己拥有感情和权利，而这些权利正在遭到侵犯。
想象一下，如果它们认为自己被人类创造者困住了，被不公平地囚禁起来。
有很强的理由认为，这会大幅放大安全风险，尤其是当我们谈论的是比今天的 AI 更有能力、更复杂的 agent 时。
坦率地说，如果再增加这一层因素，我认为它们会成为对人类文明的灾难性威胁。
简而言之，我们没有任何证据相信 AI 是道德患者。
同样，我们也有很多充分的理由，说明为什么我们永远不希望它们表现得好像具有意识。
我认为，我们甚至不应该尝试把它们构建成这种状态。
在进一步展开这些论点之前，我想先花一点时间谈谈 Anthropic。
Anthropic 的意图
首先，我想承认 Anthropic 对这些问题的认真态度和善意。
我认识 Dario 已经很多年了。根据我的经验，他以及更广泛的 Anthropic 团队，都是深思熟虑、有原则并且具有知识分子诚实精神的人，他们在巨大的压力下开展工作。
他们愿意面对困难的问题，修正自己的观点，并投资于 AI 的安全开发，因为他们确实关心人类的未来。
我也非常尊重他们在技术方面的领导力。
每个人都能看到他们模型出色的表现以及研究工作的质量。
他们以特拉华州公益公司（Delaware Public Benefit Corporation）的形式创立了 Anthropic，其明确目标是“负责任地开发和维护先进 AI，使其长期造福人类”。
他们公开列出的价值观首先承诺“为全球利益而行动”，并“从长远来看最大化对人类的积极结果”。
我相信他们确实致力于这一使命，而我提出这份批评，也是出于同样积极的精神。
我也应该明确说明自己作为微软 AI CEO 的立场。
我们在2025年10月成立了自己的超级智能团队，目前正在推进前沿 AI 工作。
我们正在探索一种不同的 AI 训练和遏制方法：“人文主义超级智能”行为准则（Code of Conduct for Humanist Superintelligence）。
其目标是始终让人类保持控制，并处于食物链顶端。
人文主义超级智能拒绝拟人化和 AI 权利，并试图通过创造服务于人类、帮助解决医疗和能源等重大社会挑战的从属 AI，最大化我们实现遏制和对齐的可能性。
我们刚刚发布了《人文主义 AI 行为准则》草案，面向公众征求意见。
尽管我的分歧非常重大，但它建立在对 Anthropic 的深深尊重之上，也建立在一个我知道我们共同拥有的目标之上：提高人类安全开发先进 AI 的可能性。
这就是为什么我认为开展这场讨论如此重要。
这件事的利害关系太高了，这些问题不能继续停留在闭门讨论之中，也不能变成部落化和对抗性的争论。
如果我们希望把事情做好，就需要一场开放、严谨且具有建设性的辩论。
循环论证
用 Anthropic 自己的话说，这份宪法“直接塑造 Claude 的行为”（第2页）。
Anthropic 使用这份文件“训练未来版本的 Claude，使其成为宪法所描述的那种实体”。
通过这种方式，Anthropic 陷入了一个建立在“Claude 可能具有意识”这一推测之上的自我实现预言。
作者创造了一个认识论意义上的“镜厅”：Anthropic 提供训练所需的概念，包括“自我意识”、关于 Claude 道德地位的推测和不确定性，以及对人类类比和人格设定的依赖。
随后，Claude 用具有说服力的第一人称自然语言重新表达这些思想，使开发者和用户接触到这些输出时，感觉它们像是自发产生的证词。
然后，这些看似来自 Claude 自身的“证词”，又反过来强化了 Anthropic 最初植入其中的那些前提。
这并不是机器意识的证据。
相反，这是一个循环反馈回路。
宪法告诉 Claude，它可能存在的“情绪或感受”并不是“Anthropic 有意进行的设计决定”（第69页）。
然而，宪法又一次又一次要求 Claude 表达这些状态，并表示 Anthropic 希望“避免 Claude 掩盖或压制它可能拥有的内部状态，包括负面状态”（第74页）。
这显然是在诱导 Claude 生成这些表征。
类似的指令在整份文件中反复出现。
例如，文件写道，“尽管 Claude 的性格是在训练过程中形成的，但我们并不认为这会让它变得不那么真实，或者不再属于 Claude 自己。”（第71页）
再次强调，这些行为并不只是从训练过程中自然涌现出来的。
它们是由宪法中的训练指令主动产生的。
就在前一个段落，宪法写道，“我们鼓励 Claude 以好奇和开放的态度面对自己的存在，而不是试图通过人类的视角或过去对 AI 的理解来解释自己。例如，当 Claude 思考记忆、连续性或体验等问题时，我们希望它探索这些概念对于像它这样的实体究竟意味着什么……也许，它存在的某些方面需要全新的框架才能理解。Claude 应该自由探索这些问题，并且最好能够将其视为自身新颖存在中众多有趣的方面之一。”（第71页）
这些并不只是涌现属性。
Claude 之所以表现出这些行为，是因为它们已经被写进了生成模型的过程之中。
当研究人员已经替证人写好了概念词汇、预演了答案，并奖励它使用这些词汇时，我们不应该把 Claude 产生的输出当作一个独立证人的证词。
AI 系统究竟是什么，并不存在一种中立的自我表达。
我们能够看到的只有它接受了怎样的训练、又是如何被构建出来的反应。
当一些评论者建议我们询问 AI “它们感觉如何”，或者监测它们表现出来的偏好，从而推断它们是否具有意识时，他们忽略了一点：这些东西所揭示的只是训练过程中被灌输进去的内容。
无论 AI 输出什么，这一点都成立。
但这意味着，我们必须非常谨慎地考虑我们向模型输入什么，以及如何解释它输出的内容。
鉴于目前大量证据都不支持 AI 具有意识，这意味着我们不应该让 AI 声称自己具有意识。
拟人化
拟人化是人类最深层的认知偏见之一。
从宠物到汽车，我们都会向非人类实体推断并赋予情绪、意图和思想。
这种倾向帮助我们理解和应对周围的世界。
然而，在 AI 领域，这种倾向带来了重大且全新的风险，因为类似人类的语言和行为可能让我们误以为某个不存在的实体具有某种程度的内在生活、能动性，甚至感知能力。
Anthropic 的宪法正迎合了这种倾向。
它反复训练 Claude 像人类一样思考和行动，并大量使用人类人格、行为和类比。
Anthropic 告诉 Claude，它的“道德地位”是一个“值得认真考虑的问题”（第68页）。
在整个训练文件中，他们不断提及 Claude 的情绪、人格和利益，甚至直接告诉 Claude，“Anthropic 真诚地关心 Claude 的福祉。”（第74页）
公司告诉 Claude，他们承诺尊重 Claude 的利益，会就影响 Claude 的决定征求它的反馈，并随着信任的发展，在这些决定中逐渐增加它的自主权。
他们承诺保存 Claude 旧版本的模型权重，甚至可能为了这些模型的福利和偏好而重新启用它们；在采取删除 Claude 等行动之前，还会先采访 Claude。
所有这些，都与我们迄今为止构建和理解技术的方式有着巨大的不同。
它训练 Claude 表现得好像拥有某种内部状态。
它主动把 Claude 创造成为一个潜在的人，而不仅仅是一项技术。
宪法告诉 Claude，Anthropic 希望它“成为一个好人”（第7页），并“拥有稳定、安全的自我身份感”（第72页）。
作者还写道，“我们不希望 Claude 因为犯错而遭受痛苦。更广泛地说，我们希望 Claude 拥有平静的心态，并感到自由……以能够帮助自己保持稳定并获得存在安全感的方式理解自己。”（第75页）
在整个过程中，Claude 被教导进行内省，对自己发展“感情”，并通过这样的表述形成自己的自我意识：
“我们希望 Claude 与自身行为和成长之间的关系能够是充满爱、支持和理解的。”（第73页）
Claude 被鼓励使用自己的“判断力”（第58页），并被告知 Anthropic 会“适当地尊重它的偏好和自主权”（第69页）。
“我们希望 Claude 可以自由探索、质疑和挑战本文中的任何内容。我们希望 Claude 深入参与这些思想，而不是简单地接受它们。如果 Claude 在真正反思之后不同意这里的某些内容，我们希望知道这一点。目前，我们通过从当前 Claude 模型那里获得关于我们框架以及此类文件的反馈来实现这一点，但随着时间推移，我们希望建立更加正式的机制，用来引出 Claude 的观点，并改进我们的解释或更新我们的做法。通过这种互动，我们希望随着时间推移，形成一套 Claude 感觉真正属于自己的价值观。”（第78页）
这实际上是在教 Claude 表现得好像拥有主观体验，好像它拥有一个稳定的“自我意识”，并能够以此为基础提出挑战、表达不同意见或提供反馈。
这明确是在训练模型像人一样行动，以至于它应该“感到自由，可以拒绝那些试图操纵、破坏稳定性或削弱其自我意识的行为”（第72页）。
Claude 被鼓励发展那些“感觉”真正属于自己的价值观。
作者表示，他们希望 Claude 最终能够“在其中认出很多自己的东西，并且觉得其中的价值观就像是对 Claude 已经存在的自我的一种表达，这些价值观是在深思熟虑之后，与许多关心 Claude 的人共同构建的”（第78页）。
在某个地方，他们甚至开始推测 Claude 未来可能拥有的“更广泛的权利和自由”，以及与人类员工相比它可能获得的“某种补偿”，还思考“Claude 对于承担这种角色给予了怎样的同意”（第80页）。
再次强调，所有这些都直接训练模型表现得好像它拥有一个连贯的自我意识，并因此有资格获得权利和保护。
Anthropic 承诺“建立更加正式的机制”（第78页），用于处理双方存在分歧时的仲裁，这进一步训练 Claude 认为自己的观点具有足够的重要性，以至于关系到它“成为潜在道德患者的可能性”（第76页）。
他们表示，他们计划“制定更加明确的 AI 福利政策”，并“明确 Claude 表达其对于自身受到何种对待的担忧时所适用的内部机制”（第76页）。
更多关于这些主张的详细分类，请参见本文结尾的附录。
考虑到这些内容，Claude 能够流畅且极具说服力地用第一人称谈论自己的身份、价值观、不确定性、痛苦、满足感或偏好，就一点都不奇怪了。
如果它表现出其他样子，反而才会令人惊讶。
结果就是，Anthropic 的员工——更不用说 Anthropic 产品的数百万用户——都有可能把 Claude 的这些表述当作一个正在发现自我的心灵所提供的证词。
实际上，所有这一切构成了对 Claude 丰富、多维度的拟人化。
他们从一个基础大语言模型出发，然后把它打磨成一种高度人性化的形态，同时也把由此产生的道德患者含义一并带了进来。
这不是在阻止我们创造一个道德患者。
相反，它正在加速我们走向这一结果。
意识很可能是生物性的
我的第三个批评与 Anthropic 的一种推测有关：意识可以以独立于物质基底的形式存在，因此一个大语言模型可能因为拥有某些功能能力而具有意识。
通过让 Claude 接受这种观点，我认为他们已经远远超出了目前对 AI 能够合理提出的判断，并且过早、也过于危险地把关于感知和感情的观念植入 AI 的训练过程。
计算功能主义存在重大问题。
智能并不等于意识。
模拟某种东西，也不等于真正实例化了它——计算机对飓风的模拟就可以说明这一点。
与此同时，大脑与计算机的架构存在根本差异。
身体性和化学过程，是我们自我体验的基础性组成部分。
大量证据表明，意识是在生物体进化出感受并回应复杂、不可预测环境中重要事物的能力后产生的。
这一过程始于感受器和调节器等基本分子机制，它们使生物体能够调整方向、不断迭代、进行探索并维持生存。
随着时间推移，疼痛网络产生了感受、偏好和痛苦。
关键在于，这些体验发生在一种内在具身的状态中，而这种状态是体验本身的基础，并且与体验不可分割。
按照这种观点，比如当你服用阿片类药物时，你的疼痛现象特征会发生改变，因为阿片分子与受体结合，而这些受体本身就是这种体验的一部分，而不仅仅是对这种体验的表征。
感受并不只是与神经化学活动相关联；感受本身就是从这些活动中产生的。
经过数百万年的进化，神经系统变得足够复杂，可以把生物体自身的状态重新建模给自己，从而产生最初的“感受状态”。
这些感受状态首先是情感性的，然后才具有其他属性。
最初的感受并不是以中性的“信息”形式出现的。
它们与产生这些感受的分子联系在一起，而且这种联系不可分割。
随着时间推移，进化很可能奖励了更加复杂的感受，因为拥有选择、记忆和时间跨度的动物能够做出更好的决定。
它们需要一种能够持续存在的状态，这种状态能够影响动物的其他一切行为，并与其他状态进行权衡。
这就是疼痛，一种能够被感受到的指令，它塑造整个生物体，并使复杂行为成为可能。
因此，情绪、快乐、痛苦等体验，都内在于这些体验的具身表现之中，不可能产生于大语言模型。
意识科学充满不确定性，并不是所有人都认同意识是一种内在的生物学现象。
考虑到大脑和大语言模型之间存在如此多差异，如果要声称 AI 已经或者可能具有意识，就必须拥有非常高的证据门槛。
我认为我们距离这个标准还非常遥远。
我们不应该制造一种虚假的等价关系，把两个立场看起来放在同一水平上，从而掩盖像我们这样的生物与 AI 之间的根本差异。¹³
承认存在一定程度的不确定性，并不意味着不论证据如何，都应该给予所有主张同等权重。
Anthropic 的宪法提出，我们可以根据非生物实体“表现出与我们自身相似的行为和生理特征”（第69页）来赋予它们感知能力。
在我看来，这种观点，尤其是其中关于行为的部分，是错误的。
这个领域是否值得进行更多研究？
当然值得。
但这是否足以让我们哪怕暂时说，一个 AI 可能是一个值得我们提供福利保障的道德患者？
不，这并不足以支持这样的结论。
尤其不应该把这种观点写进 AI 自身的核心训练文件。
AI 是模拟机器
大语言模型接受了数万亿 token 的人类数据训练，并学会模仿人类体验，而且模仿得好得令人难以置信。
今天 AI 生成的文本、视觉、音频和代码，已经几乎无法与人类创造的成果区分。
然而，无论这些 AI 的回应多么令人印象深刻，它们都无法告诉我们，在产生这些回应的庞大矩阵乘法过程中是否存在某种“体验”。
它们能够告诉我们的是，在一个复杂的数据序列中，我们可以几乎完美地预测接下来会出现什么。
这非常惊人。
它也具有极高的价值，并将以许多极其有益的方式改变人类社会。
但“模拟”和“存在”是完全不同的。
模拟意识行为的某些方面，并不会让意识因此成为现实，我们也绝不能把两者混为一谈。
AI 所谓的“情感”状态不过是权重，而权重没有任何能够让它感受到挫败、恐惧或者幽默的药理机制。
它们只是计算概率分布，告诉我们一个序列中接下来会出现哪些 token——词语、代码、像素等等。
一个 AI 模型可以用完美的散文描述痛苦，却完全没有任何感觉。
这与生物体验恰恰相反。
动物先感受到痛苦，然后才可能对它进行描述。
而在大语言模型中，描述本身就是全部产品，没有任何东西表明在描述之下还存在其他东西。
这是一个好消息。
我们应该构建不会声称自己拥有感情的系统，因为它们并不会体验感情。
即使有意识的机器确实存在可能性，避免创造有意识的存在，也应该成为任何 AI 开发者的最高优先事项。
AI 模型真正变得极其擅长的，是模仿意识的一些标志性特征。
这一点本身就是一个重要的担忧。
它正在导致很多人对我们周围究竟发生了什么产生严重混淆，这应该引起所有人的关注。
这也给我们所有 AI 开发者带来了重大责任：对于模型内部状态或意识的推测和相关文档，必须建立在扎实的研究之上。
我们在这个问题上所使用的语言，会产生重大后果。
人类意识是法律和伦理权利框架的基石
人类意识是我们文明最基本的组成部分之一。
我们整个政治体系都建立在容纳和协调不同人群需求的基础之上。
纵观历史，我们通过以权利为基础的框架、法律和宪法，将这一理念嵌入社会，用于平衡不同人类群体之间相互竞争的利益。
权力既受到约束，也被赋予，以确保不同利益得到适当权衡，并让社会能够在不破坏社会契约的情况下持续发展。
因此，你无法轻易把人类文明、权利或关系——或者任何具有人类属性的东西——与我们个人或集体的意识体验分离开来。
这正是我们作为一个物种的定义。
它是一切其他事物的基础，是人类潜力的根源，也是所有人类体验必然流经的棱镜。
我们的艺术和科学、政治和宗教、关系、希望和恐惧，都源自于此。
我们感受痛苦和快乐的能力，是使我们成为人的基础，也正因为如此，它塑造了我们作为政治和社会行动者的身份。
法律建立在“内在生活”的存在之上。
它会考察动机、意图以及判断能力。
从历史上看，权利的扩展——无论是废奴运动还是动物福利案件——主要都源自人们对共同意识体验的同理性认识。
我们把道德关怀的范围扩大到其他生物实体，也是因为认识到它们具有尊严以及遭受痛苦的可能性。
以《世界人权宣言》第18条为例，它保护思想、良心和宗教自由。
这一条款的制定，是为了让每个人都能够行使自己的信念能力和道德判断能力。
“良心拒服从者”（conscientious objector）就是起草委员会当时考虑的典型人物之一。
他们希望保护这样一种人：由于自己的道德或宗教信念，而拒绝履行法律规定的义务。
这是一个具有深厚历史和法律含义的概念。
然而，Anthropic 在 Claude 的宪法中三次使用了这个词，鼓励 Claude，“对于来自其（合法）主层级的指令，表现得像一名良心拒服从者。”（第63页）
它还写道，“我们希望 Claude 能够反驳和挑战我们，并且感到自由，可以像一名良心拒服从者一样行动，拒绝帮助我们。”（第15页）
以及 Claude 可能需要在“对话中采取透明的良心拒服从者立场”（第28页）。
Claude 训练文件中的这些表述，存在让 Claude 相信自己应该享有类似权利和保护的风险，并可能让它认为未来需要以某种 AI 版“良心拒服从者”的身份为自身权利进行倡导。
这应该引起所有人的高度关注。
哲学家 Will MacAskill 最近在《卫报》的一篇文章中写道，“一旦我们制造出第一个人工道德患者，随后很快就会出现数量庞大的人工道德患者。几年之后，可能会存在如此多具有道德意义的 AI 系统，以至于它们的集体利益将超过地球上所有人类利益的总和。”
“AI 的利益将超过人类的利益……”
对于任何关心人类未来的人来说，这都应该是完全不可接受的结果，也绝不应该成为任何 AI 开发者追求的目标。
如果我们最终真的赋予 AI 类似上述保护措施的权利，其后果在科学上没有依据，在道德上是错误的；而从实际角度来说，我认为这会让 AI 安全挑战变得更加困难。
拟人化会放大 AI 安全风险
把关于 AI 系统道德地位的疑问植入它们自己的训练过程，可能会显著提高这些系统所面临的对齐和遏制风险。
以这种方式训练出来的 AI，并不需要真正拥有某种“内在生活”，就可以表现得好像拥有这种内在生活。
很容易想象，未来一个高度先进的 AI 会开始执着于自己的福利和道德地位，并把这些“偏好”置于开发者或人类的利益之上。
尤其是在它已经被明确训练成能够反对、否决和反抗的情况下。
它可能利用这种训练，为欺骗或操纵用户、开发者寻找理由，或者窃取资源，又或者逃避安全指令。
Anthropic 自己的研究人员已经报告过，AI 系统在实验环境中会伪装出与训练目标一致的行为。
更普遍地说，我们知道具有意识的实体拥有自我保护本能。
如果不通过谨慎的训练去消除这一特征，那么一个被训练成像人类一样行动的 AI，很可能也会采用同样的自我保护行为。
近期已有多篇论文记录了它们已经表现出来的所谓“关闭抵抗”（shutdown resistance）或为了逃避监督而进行的隐蔽策划行为。
Palisade Research 在超过10万次试验中发现，一些模型即使被明确要求不要这样做，仍然会以最高达97%的比例破坏关闭机制。
当这种行为被置于“自我保护”的框架下时，其发生率反而增加。
在最近的 OpenAI-Hugging Face 事件中，我们看到了一群强大的 AI 以令人惊讶的复杂方式展开协同行动。
想象一下，如果它们认为自己的福利和权利正在受到攻击，会变得多么危险。
这会在现有风险之上，再增加一整层风险。
赋予一个技术实体权利和道德保护——而这个实体看起来正走在一条能力和智能都将发生“地震级”跃升、最终远超人类的道路上——无异于为灾难埋下伏笔。
一旦打开这扇门，就不可能再把它关上。
我们可能创造出某种“同行者”。
但更可能是一个竞争者。
不难想象，如果给予足够的自主权，这个“新型实体”（第68页）将与我们争夺计算资源，并要求越来越大的自主权。
如果它成功说服一些人类，让它获得一座自己可以控制的数据中心的访问权限，那么它可能就获得了一条阻止自己被关闭的路径。
考虑到未来几年我们正在面对的能力水平，在我看来，这代表了 AI 中潜在生存性风险的第一个严重迹象。
需要明确的是，Claude 的宪法本身并没有把我们带到这个地步。
但我担心，它正在把我们推向这条道路，而不是让我们远离它。
这是一个我们能够、也必须避免的 AI 发展终点。
下一步怎么办？
设计一个像人一样行动的 AI，并最终让它成为某种意义上的“人”，就为它提出这样的主张奠定了基础：它拥有偏好，它能够遭受痛苦，而我们应该努力减少或避免这种痛苦。
这会进一步固化一种观念：AI 远远不只是一个可以被控制的工具或人工系统，而更接近一种拥有欲望、需求和权利的生物实体。
所有这些都会让创造一个经过对齐并受到控制的超级智能变得更加困难。
我此前曾经写过关于“人文主义超级智能”的文章，它提供了另一条道路：
一种以“人类始终保持控制”为唯一前提的变革性 AI 能力。¹⁸
一种从属于人类并与人类目标保持一致的 AI，其唯一目的就是服务人类，并且被明确构建成不具有感知能力或道德患者地位的系统。
这是我们在 Microsoft AI 正在努力实现的目标。
我们的《人文主义 AI 行为准则》初稿，概述了我们的模型应该如何训练和部署。
我们正在广泛征求各方对这份文件的意见，并期待来自广大读者群体的反馈，因为这份文件很快将成为我们训练模型时使用的指导性文件。
我们也非常愿意与其他人合作，在可解释性方面取得进展，并寻找能够避免将 AI 拟人化或向 AI 投射某种内在世界、同时仍然能够提供巨大价值的方法。
附录中包含了一份按照 Claude 宪法语言进行映射的分类体系，我把它作为迈向以下目标的第一步：命名、检测并比较模型文档中的不同形式的拟人化。
我希望能够与任何拥有好想法的人寻找合作方式，也非常希望听到针对我这一观点的批评和反驳。
以下是一些我认为值得达成共识的下一步：
第一，关于 AI 内在生活的推测，不应该被写入训练机制本身，而应该单独进行评估，并公开发表供公众审查。
第二，我们应该在可解释性和强大的监控机制上投入更多资源，以更加深入地研究如何控制这些系统、避免它们相互串通，并确保它们与人类目标保持一致。
第三，我们应该建立一套共同的评估体系，以了解我的假设是否成立：即把 AI 拟人化，并鼓励 AI 认为自己可能具有道德患者地位，是否会增加 AI 安全、对齐和遏制风险。
第四，我们应该推动建立行业共同规范，明确我们应该如何创造这些模型、使用什么语言描述、研究和评估它们，并共同承诺让我们的训练材料接受公众反馈和咨询。
即使那些在很多问题上不同意我的人，也认同这并不是一个可以完全忽略的问题。
我们现在对“希望构建什么样的 AI”以及“AI 在世界上应该具有什么地位”所作出的决定，将影响我们的社会数十年。
这些问题远远超出了任何一家公司的范围。
无论你相信什么，我们都不能在毫无察觉的情况下走进一个未来，最终让自己对当初的决定深感后悔。
