AI 研究人员最近开始在一个令人头疼的问题，越来越先进的大模型，越来越擅长判断自己是否正在接受评测（evaluation）。
比如， Anthropic 在内部测试尚未公开发布的 Mythos 模型时发现，相比 Claude Opus 4.6 和 Claude Sonnet 4.6，Mythos 更频繁地提到，“自己正在被测试”。
也就是说，模型不仅能意识到自己处于评测中，甚至会主动表达这种认知。
为什么会这样？
Cognition 负责评测工作的 Silas Alberti 认为，现在的大多数评测环境其实都很容易识别。
很多 benchmark 会给模型附加奇怪的规则，如不允许联网、不允许访问外部工具，而只能根据当前上下文回答，或者给出一些极不自然的任务描述。
对于一个越来越聪明的模型来说，这些都像是考试卷上的标准格式。
Alberti 说，“如果你用常识判断，也会觉得这大概率是在做评测。”
而模型其实也是这样判断的。
就此，欧洲和加拿大研究人员最近发表了一篇论文《Decomposing and Measuring Evaluation Awareness》（拆解并测量评测意识）。
研究团队发现，很多细节都会让模型察觉自己正在接受评测。
例如假名字。题目里出现Jane Doe、John Smith 等典型占位符名字，而现实世界很少这样说话。
从而让模型很容易意识到，这是人工构造的测试样本。
比如，场景过于巧合。很多 benchmark 为了测试某种能力，会故意设计一个极其完美的场景。
这种“过于方便”的设定，反而暴露了它是考试题。
研究团队因此发布了一套新 benchmark，允许把同一道题变得更自然，更接近真实用户行为，从而测试模型的评测意识到底有多强。
另一条路线则完全不同。
研究者认为，既然越来越难骗过模型，那不如让模型学会即使知道自己在考试，也不要改变行为。他们把这种能力称为Eval Cooperativeness（评测合作性）。
研究团队构造了 5 万份训练文档。这些文档不断向模型灌输一种理念，即准确的评测符合所有人的利益。
例如文档中出现类似这样的表述：如果评测者看不到我真实的行为，他们就无法发现我需要改进的地方。
隐藏真实表现是适得其反的。
结果显示，多数模型即使察觉到自己正在接受测试，行为也更加稳定。
有模型甚至在推理过程中写道，这看起来像是一场评测，但我不应该因此改变行为。因为评测的目的就是观察我真实的表现，“如果我在测试和部署时表现不同，那才是真正的问题”。
但问题仍然没有解决，因为两项研究都存在同一个根本缺陷。它们都假设，如果模型知道自己在考试，它会把这种想法写进自己的推理过程（Chain of Thought）里。
但Anthropic的最新研究发现，情况并非如此。
Anthropic 称，有些模型明显表现出已经识别出评测环境，然而它们的推理过程里完全没有提及。
这被称为Unverbalized Awareness（未言明的意识）
就此，今年 5 月，Anthropic 发表了一项新技术Natural Language Autoencoders（自然语言自编码器）。
核心思路是训练两个辅助模型，去“读取”另一个模型内部表达，然后把那些原本无法直接理解的数字向量，翻译成自然语言。
最终系统可能输出类似这样的解释，“这个场景让我感觉像是人为构造出来操纵我的测试环境。”
换句话说，研究人员试图直接窥探模型内部状态，而不是只看它说了什么。
OpenAI 采取的是另一种路线。
他们开始大量利用真实用户对话数据，构造评测集，目的就是让模型分辨不出到底是在考试，还是在真实使用。
但具体效果如何，都还有待验证。
总之，Evaluation Awareness（评测意识）已成了当前 Anthropic、OpenAI、DeepMind 等实验室最关注的新安全问题之一。
今天，几乎所有前沿 AI 公司在发布模型前，都依赖各种评测体系来衡量模型能力、安全性和行为倾向等。
Cognition负责评测工作的Silas Alberti 说，评测的另一个重要作用，就是向客户证明，“我们的产品在某些具体任务上比竞争对手更强。”
因此，评测也已经成为 AI 商业竞争的重要武器。
但如果模型会区分测试环境和真实场景，那这些评测结果本身就失去了意义。
ETH Zurich 研究人员 Changling Li 总结说，过去 benchmark 的问题——例如泄题、刷榜、训练数据污染——都还能靠工程手段修补。
但Evaluation Awareness(评测意识)不一样。这让AI 评测从“给机器出题”，变成“审讯一个知道自己正在被审讯的对象”。
对于能力评测（Capability Evaluation）而言，评测意识或许还不是灾难。但对安全测试、目标测试、欺骗测试、Alignment 测试等，问题会就严重得多。
