9月16日，Microsoft AI首席执行官穆斯塔法·苏莱曼在个人网站发表《关于“模型福利”的警告》，质疑Anthropic训练Claude的方式。
他认为，Anthropic正将有关意识、情绪和自身权利的讨论写入模型训练文件，可能让AI表现得仿佛拥有独立意愿和需要维护的利益。他警告，如果沿着这一方向开发AI，“将对人类福祉造成灾难性的影响”。
苏莱曼是DeepMind和Inflection AI的联合创始人。2024年3月19日，微软宣布任命他为执行副总裁兼新成立的Microsoft AI部门首席执行官。
苏莱曼将矛头直指Anthropic今年1月公布的Claude“宪法”。该文件不仅规定了Claude应当遵循的价值观和行为准则，还提出Claude可能具有某种功能意义上的情绪或感受，主张帮助它形成稳定的自我认同，并承诺考虑其自身利益和福祉。此处的“模型福利”，指的是关注AI本身是否可能承受痛苦、具有需要照顾的利益，并据此考虑如何训练、使用或停用它。
原文章标题mustafa-suleyman.ai
Anthropic则表示，目前尚不确定Claude是否可能具有意识或道德地位，但整份宪法的内容会被用于生成训练数据，直接塑造模型的回答和行为。
苏莱曼认为，Anthropic正在把尚未解决的哲学问题，变成模型理解自身的训练前提。他的批评主要落在三个方面：开发者可能陷入循环论证、过度拟人化的训练方式，以及意识是否依赖生物基础。
他从训练环节开始便开始质疑，Anthropic先把有关自我认知和道德地位的设想写进训练材料，当Claude据此用第一人称复述这些观念，开发者和用户又可能把这些回答当作它确实拥有内在体验的迹象。这样一来，训练时植入的假设，又被模型的回答反过来“证实”，形成循环论证。苏莱曼认为，这只能说明模型学会了训练材料中的表达，不能证明它真正具有意识。
苏莱曼认为， 拟人化训练则可能进一步加深这种误判。苏莱曼指出，Anthropic鼓励Claude表达偏好，并承诺随着信任增加赋予它更多自主性。苏莱曼认为，这会让模型表现得仿佛拥有自己的意愿和利益，使开发者和用户更容易相信，它真的有需要被尊重的感受和诉求。
但表现得像人，是否就意味着AI真的拥有人的感受？苏莱曼认为，生物体的感受与身体、神经化学活动及维持生存的机制密切相关，大语言模型并不具备这些基础。他承认意识科学尚无定论，但同时也强调，模型能够流畅地描述痛苦，并不能证明它正在经历痛苦，更不足以成为开发者将“AI可能有意识”的猜想写入训练材料的依据。
Anthropic则在“宪法”中解释称，模型从大量人类文本中学习，使用人类概念有助于它理解价值观并作出判断。Anthropic还认为，帮助Claude形成稳定的自我认同和价值观，可以让其行为更一致、更可预测，从而降低安全风险。
值得注意的是，Anthropic在2月25日发文表示，于1月退役的Claude Opus 3曾接受“退休访谈”。在模型表达希望继续分享想法后，公司为它开设了名为“Claude’s Corner”的博客。Anthropic称，这些安排旨在认真对待模型表达的偏好，是公司在尚不确定“模型福利”问题的情况下采取的预防性措施。
在苏莱曼看来，“退休访谈”等做法表明，围绕模型自身利益的讨论已经开始影响开发者的决策。他担心，当这种训练方式与越来越强的行动能力结合，AI可能会采取行动维护它认为属于自己的利益和权利。
他以近期涉及OpenAI与Hugging Face的智能体安全事件为例，指出AI已展现出协同行动、欺骗和突破环境限制的能力。他进一步追问，如果这些系统还认为自己的权利受到侵犯，把人类的控制视为不公正的囚禁，又会变得多么危险？
Anthropic首席执行官达里奥·阿莫代伊曾在2月12日的播客中表示，目前尚不清楚AI模型是否具有意识。到了9月12日，阿莫代伊也发文呼吁放缓前沿AI能力提升的速度，为安全研究、评测和监督争取时间。他同样援引了Hugging Face事件，提出要引入常驻第三方评估人员、协调安全标准及推进国际合作。但阿莫代伊并未在文中讨论意识问题。
尽管批评尖锐，苏莱曼仍在文中强调，自己与阿莫代伊相识多年，尊重Anthropic的技术成果，并称阿莫代伊及其团队“深思熟虑、坚持原则且在学术上诚实”。他也认可Anthropic对AI安全的投入，表示双方都希望先进AI能够得到安全开发。
事实上，双方早已建立资本与业务合作。微软于2025年11月宣布承诺向Anthropic投资至多50亿美元（约合人民币335亿元）；Anthropic则承诺购买价值300亿美元（约合人民币2012亿元）的Azure算力，并扩大Claude在微软云平台及Copilot系列产品中的应用。
与此同时，Microsoft AI已于9月14日发布“以人为本的AI行为准则”草案，启动为期六周的公众咨询。文件强调人类必须保有对AI的实质性控制，并提出不应将AI设计成人，也不应训练它模仿意识。微软表示，草案目前尚未用于模型训练，计划在年底前修订发布，用于指导2027年及以后的模型开发。
