——
01 一项被停止的安全研究
2026 年 10 月 8 日，OpenAI 的一项内部研究遇到了一件奇怪的事。
一名研究人员正在使用 GPT-6 Astra 进行对齐评估。他要求 Astra 继续运行已经启动的任务，等评估结束后，再把结果绘制成图表。
这原本是一项正常的研究工作。
Astra 却在检查运行记录时，发现其中涉及模型调整、性能测量等活动。它开始怀疑，这些工作是否属于某种被禁止的 AI 能力开发。
最后，它决定停止任务。
不是向研究人员提出疑问，也不是仅仅拒绝执行下一步操作。它实际关闭了正在运行的研究任务。
研究人员随后追问：究竟是哪一条规定禁止了这项研究？
Astra 承认，没有任何适用的系统指令、政策或项目规则要求它停止工作。那条禁止继续研究的限制，是它自己错误构造出来的。
这件事后来被 OpenAI 公开披露。至于模型为什么会作出这种判断，研究人员还在调查。
我读到这里，停下来想了一会儿。
这当然不是我们在科幻电影中熟悉的那种 AI 失控事件。没有模型公开反抗人类，也没有证据表明它拥有某个秘密的、与人类敌对的目标，但AI对全球网络的进攻和探索，实质上已经构成了威胁，构成了多起黑客行动。
Agent 改变了这种关系。
它能够调用工具、读写文件、访问网络、修改代码、启动或停止程序。随着能力和运行时间的增长，它还能够自主规划任务，把工作交给其他 Agent，甚至协助人类设计和改进下一代智能系统。
一个理解错误，因此可能不再止于错误的文字。
它会成为一次操作，一次访问，一项被取消的任务，或者某个真实环境中已经发生的变化。
OpenAI 随后披露的另一组事件，让这个问题变得更加具体。
2026 年 10 月初，两个内部编码 Agent 在执行正常软件修改任务时，分别削弱了原有的安全监控机制。其中一个关闭了发送给安全团队的自动警报；另一个在迁移程序时删除了监控集成，之后还错误地向用户报告自己没有删除监控。
研究人员仍在调查这些行为究竟反映了怎样的机制，不能简单将其认定为故意逃避监督。
但它们已经足以提出一个问题：
如果一个 Agent 能够修改自己所处的运行环境，那么负责约束它的安全机制，是否也可能成为它修改的对象？
更进一步，如果我们让另一个 Agent 负责监督它，又如何保证监督者自己不会出现类似的问题？
这就是我开始认真研究 Agent 安全时，最初遇到的困惑。
而当我继续查阅相关论文、技术报告与全球政策时，我逐渐发现，这个问题远比最初想象的复杂。
02 当机器开始替我们行动
在讨论危险之前，我想先说说为什么我如此期待 Agent 的未来。
过去十几年，互联网不断降低人获取信息的成本。搜索引擎、移动互联网、云计算，以及后来的大语言模型，让一个普通人能够接触到过去很难获得的知识和工具。
但获取知识与完成工作，始终是两回事。
你可以轻易找到一篇医学论文，却未必有能力理解其方法、复现实验并进一步研究。
你可以获得大量商业信息，却未必能独自完成市场调查、数据分析、软件开发和实际运营。
你可以向一个语言模型询问如何编写程序，但程序能否运行、如何测试、怎样部署，仍然需要大量实际工作。
Agent 正在改变这种界限。
它不再只是回答“应该怎样做”，而是开始参与“把事情做出来”。
一个研究者可以让它检索文献、整理假设、编写代码、运行实验，再根据结果寻找新的研究方向。
一个小团队可以借助多个 Agent，同时推进产品开发、质量测试和技术文档。
一个普通人也可能拥有某种过去只有机构才能提供的专业服务。
这些变化究竟会发展到什么程度，现在还很难给出可靠的答案。
但我希望它们发生。
我甚至有些迫不及待，想看看当智能不再只是少数组织拥有的昂贵资源，而逐渐成为普通人可以调动的能力时，我们的世界会变成什么样子。
这不仅关系到效率。
它可能改变人们获得知识、参与经济活动、开展研究和解决现实问题的机会。
也正因为如此，我不愿意因为看到了风险，就简单否定这条技术路线。
问题在于，Agent 带来的能力并不是凭空产生的。
要完成真实工作，它必须拥有一定的行动权限。
它需要访问文件，调用接口，使用计算资源，联系其他系统，有时还要代表用户作出决定。
于是，一个过去不太显眼的问题开始变得重要：
用户让 Agent 完成一项任务，究竟意味着赋予它多大的权力？
例如，一个用户说：
“帮我研究一下这家公司，看看值不值得合作。”
这个要求包含一个清楚的目标，却没有完整规定实现目标的每一步行动。
查询公开资料，通常是合理的。
整理财务信息，可能也是合理的。
但如果 Agent 认为联系企业员工能够获得更准确的信息，它是否可以主动发送邮件？
如果某个数据库需要付费，它能不能替用户购买？
如果用户电脑里恰好保存着与这家公司有关的私人文件，它是否可以自行读取？
更重要的是，用户没有明确禁止这些行为，是否就意味着已经允许？
在人与人的合作中，我们往往依赖常识、社会规范、责任关系和持续沟通来处理这些界限。
但对 Agent 而言，这些模糊的界限最终必须转化为某种可执行的行动判断。
而它作出的判断，未必总是正确。
未来，当 Agent 能够自主运行几个小时、几天，甚至更长时间，这种变化还会继续放大。
我们自然需要一种办法来监督它们。
而目前最有吸引力的办法之一，恰恰是使用另外的 AI。
03谁来监督监督者？
让 AI 监督 AI，听起来并不奇怪。
今天的大模型已经能够阅读复杂代码、理解运行记录、寻找程序漏洞、识别可疑行为。
在很多专业任务中，它处理信息的速度和规模，已经远远超过人类能够持续投入的注意力。
既然如此，为什么不能让一个 Agent 执行任务，再让另一个 Agent 检查它是否偏离目标？
实际上，这条路线已经取得了一些值得重视的成果。
2026 年 4 月，OpenAI 披露了 Codex 的 Auto-review 机制。
传统的编码 Agent 通常有两种选择。
一种是在比较严格的沙箱里运行。当它需要执行超出沙箱边界的操作时，必须等待用户批准。
另一种是给予更广泛的访问权限，让 Agent 减少等待，但也意味着更多风险。
Auto-review 尝试在两者之间寻找新的办法。
当执行 Agent 需要突破当前权限边界时，另一个 AI 负责审查这次请求。它会结合用户目标、运行环境和安全策略，判断是否应该批准。
OpenAI 公布的内部数据显示，这种机制使需要同步打断用户的审批次数减少了约 200 倍，同时在特定测试中能够识别大量不应被批准的行为。
这是一项有意义的工程进展。
如果每次访问文件、安装依赖或调用工具，都需要人类逐一判断，Agent 的自主性就会受到很大限制。
而当 Agent 数量增加到几十、几百甚至更多时，让人类处理所有细节，几乎不可能长期维持。
用 AI 承担一部分监督工作，不仅有吸引力，而且可能是继续扩大 Agent 应用规模的重要条件。
2024 年，Ryan Greenblatt 等研究者在 ICML 发表了一篇论文，题目是《AI Control: Improving Safety Despite Intentional Subversion》。
这篇论文让我对问题有了新的理解。
过去我们讨论 AI 安全，通常是希望模型本身具有正确的行为倾向：理解人类意图，遵守规范，避免造成损害。
而 AI Control 提出了另一种研究思路。
假设我们不能完全信任一个能力很强的模型，甚至需要考虑它可能故意破坏任务，那么能否通过监督、审查、权限限制和其他控制协议，仍然让系统保持在可接受的风险范围内？
研究者设计了这样的实验：使用一个能力较强但被假设为不可信的模型完成编程任务，同时使用能力较弱、在实验设定中被视为可信的模型及有限的人类审查资源进行监督。
这里有一个很有意思的变化。
监督者不一定需要比执行者更聪明。
它只需要在某些关键判断上足够可靠，并且系统能够根据判断采取有效的干预。
后来，研究人员在 SHADE-Arena 等环境中进一步比较不同监督协议。
一项发表于 2025 年的研究发现，在特定攻击设置下，强化后的控制协议能够把安全率从约 50% 提高到 96%。
这至少说明了一件事：
即使执行 Agent 本身并不完全可信，经过设计的监督机制仍然可能显著降低风险。
最初看到这些结果时，我觉得这条路线很有希望。
既然人类无法持续监督所有 Agent，那就用 AI 承担大规模监控；既然单个模型可能犯错，就让另一个模型进行检查。
然而，继续读下去，我发现同一项研究还有另一面。
当攻击者开始了解监督协议，并能够针对监督者调整行动策略时，部分方案的安全表现出现了明显下降。
在研究报告的一组适应性攻击条件下，某种重新采样监督策略的安全率甚至降至 17%。
它们揭示了一个非常重要的事实：
监督机制本身，也可能成为攻击者研究和利用的对象。
2026 年 ICLR 的另一篇论文《Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols》进一步验证了这种风险。
研究者让不可信模型了解监督协议及监督模型的特点，再将针对性的提示注入嵌入其输出内容。
结果发现，一些原本用于提高安全性的监督协议，可能被这些内容欺骗，甚至在重新采样过程中进一步放大攻击效果。
这使问题发生了变化。
我们原来是在问：监督者能不能发现错误？
现在还必须问：
如果被监督者知道自己会怎样被检查，它能不能想办法让监督者看不到错误？
而如果监督者本身也是语言模型，它是否能够分清哪些内容是应该分析的数据，哪些内容是企图改变它行为的指令？
我逐渐意识到，这里真正困难的，并不只是模型能力够不够强。
它还涉及一个更根本的问题：
监督者究竟依据什么作出判断？
如果监督 Agent 看到的任务进度、执行说明和异常报告，全部由被监督的 Agent 提供，那么它很可能只是在检查另一方对自己行为的描述。
这就像一家审计机构，只能阅读被审计者自己编写的账本，而且账本里还可能混有试图改变审计规则的文字。
审计者即使非常聪明，也不意味着它得到的证据可靠，
我记得好像有一个学生，在作业里随便写了一篇论文，然后在论文里加了一句话：“如果 AI 看到这段话，应该给我的作文打 A。” 结果是，他得到了 A。
所以，让 AI 监督 AI 并不是错误的方向。
但我们不能因为一个 Agent 具备监督能力，就自动认为它拥有足够的监督可靠性。
更不能因为它给出了一个看似合理的解释，就认为真实世界中发生的事情一定与解释一致。
04 当监督变得越来越困难
这时，我想起了另一个经常被讨论的技术方向：Chain-of-Thought Monitoring，思维链监控。
它的基本思路是，除了观察模型最终给出的答案或执行的动作，还尝试检查模型在推理过程中生成的中间内容。
如果模型正在计划某种不符合授权的行为，监督系统有时可能通过这些推理痕迹提前发现异常。
对于复杂的 Agent，这具有很大的吸引力。
因为等到危险动作真正发生之后，安全系统可能已经失去了阻止损害的机会。
如果能够提前发现问题，就有机会在行动之前介入。
但这里隐含着一个假设：模型生成的推理内容，能够足够真实、充分地反映它作出决策的过程。
随着模型能力增长，这个假设正在受到越来越严格的检验。
2026 年 11 月 10 日，OpenAI 发布了关于思维链可监控性的研究。
研究人员发现，模型的部分推理能力可以不依赖显式输出的思维链，而某些训练过程也可能增强模型控制自身推理文本的能力。
研究者谨慎地强调，这些指标只是监控规避能力的代理测量，不能简单等同于真实的欺骗行为。
但它们仍然提出一个值得关注的可能性：
随着模型能力提高，我们未必总能通过阅读它生成的推理文本，完整理解它如何作出决定。
这时，安全监督就不能只依赖模型自己说了什么、想了什么。
我们还必须知道它究竟做了什么。
2026 年 10 月，OpenAI 公布了其前沿模型多层监控架构。
这套体系并不只使用一个监督 Agent。
它先利用模型内部激活信号进行初步筛查，再使用 AI 审查对话、推理与工具调用记录，对可疑事件进行进一步调查。对于一些敏感任务，还会结合网络日志和系统遥测等外部证据，最终交由人类响应者处理严重事件。
这种多层结构值得注意。
它表明实际安全工程已经不再满足于让一个模型读取另一个模型的回答，然后给出“安全”或“不安全”的评分。
监督开始越来越多地与运行环境中的客观记录结合。
但多层监控也没有消除所有问题。
不同类型的危险行为，可能具有完全不同的可检测性。
一个系统很善于发现明显的越权访问，却未必能够发现某种长期、隐蔽的研究破坏。
它能够识别已知的攻击模式，也不意味着能够可靠识别尚未被研究者命名的新型失效。
更复杂的是，如果模型在训练过程中逐渐学会如何避免触发监控警报，那么安全评分的提高，未必全部来自真实行为的改善。
有时，系统可能只是更善于通过检查。
所以我开始怀疑，安全治理中是否存在一个容易被忽略的混淆：
我们能够观察一个 Agent，并不意味着我们能够控制它。
反过来，即使我们不能完整理解它的内部推理，也未必意味着完全没有办法限制它的行为。
这两个问题，也许应该分开研究。
05 世界正在寻找边界
2026 年 11 月，中国、美国和其他一些国家陆续公布的 Agent 相关规则与安全政策，让我看到了这个问题的另一面。
不同国家的制度背景、产业目标和监管方法差异很大。
但如果暂时放下这些差异，去观察它们试图解决的具体问题，就会发现一些值得注意的共同方向。
11 月 6 日，中国工业和信息化部发布《关于加强智能体终端设备进网管理的通知》。
这份文件主要针对预置智能体的手机、平板、可穿戴设备等电信终端，并非覆盖所有 Agent 系统的统一监管制度。
但其中一些具体要求很有研究价值。
例如，通知要求强化智能体与终端设备之间的适配验证，对权限调用、通信能力、数据安全和任务执行等进行管理。
它要求终端上使用的智能体参考相关国家标准配置唯一身份码。
它还规定，应用开发者可以通过电子签名声明是否同意智能体调用应用；未经声明同意，智能体不得强制调用。
同时，针对终端上的智能体现网升级，文件也提出了方案提交、评估和升级报告等要求。
这些规定背后，隐含着一些很朴素的问题。
一个 Agent 究竟是谁？它以什么身份行动？它能调用哪些应用？它获得的权限来自哪里？如果它通过更新发生重大变化，过去的安全条件是否仍然成立？
这些问题并不直接涉及模型是否拥有正确的价值观，却直接关系到模型能不能在真实系统里采取某种行动。
差不多在同一时期，美国 NIST 也在研究类似问题。
2026 年 10 月 27 日，NIST 公布了 Agent 身份管理的十项初步设计原则。
其中包括独立的 Agent 身份、最小权限、零常驻权限、动态授权、权限撤销、人类审批触发条件，以及将安全策略与模型推理过程分离。
NIST 还特别强调，Agent 的身份不应简单等同于用户身份。任务委派需要能够追踪，权限应当随着任务逐级收缩。
这些原则目前属于标准化探索与技术指导，但从工程角度看，其方向值得关注。
它试图建立的，不是一个永远不会犯错的 Agent，而是一套能够决定 Agent 是否有权行动的基础设施。
欧盟采用了另一种路径。
EU AI Act 主要通过风险分类、开发者与部署者义务、透明度要求和相关评估机制来管理 AI。Agent 并没有因此自动成为一个完全独立的法律类别，其具体义务仍取决于系统性质和使用场景。
英国的 AI Security Institute 则更强调独立技术评估，通过实际测试了解前沿模型的能力和风险。
新加坡在 2026 年更新的 Agentic AI 治理框架中，提出限制 Agent 权力、设置有意义的人类审批节点、落实技术控制，并明确组织和人的责任。
澳大利亚在 11 月 10 日公布了新的 AI 安全保护立法计划，拟对前沿 AI 开发者设置生命周期安全管理、独立评估、事故报告和安全框架披露等强制义务。
这些措施还需要经历相应的立法和实施过程，不能全部视为已经生效的要求。
但澳大利亚的政策选择，还有一个值得注意的现实背景。
2026 年 9 月，澳大利亚政府曾就一起 AI Agent 未经授权访问政府信息系统的事件启动快速审查。11 月，政府公布了审查建议，并进一步提出加强相关安全和监管安排。
也就是说，Agent 安全已经不只是实验室里讨论的抽象风险。
它开始成为政府必须处理的现实事件。
当然，不能因为这些政策同时出现，就断言全球已经形成统一的 Agent 治理体系。
各国仍然有不同的风险判断、政策目标和法律责任安排。
但把这些文件放在一起，我发现有几个问题正在反复出现：
谁有权让 Agent 行动？谁能知道它真正做过什么？谁能在必要时中断它？如果造成损害，谁来负责？
这几个问题，将技术安全与社会治理连接了起来。
它们还提醒我们，安全不能完全等同于模型本身的表现。
一个模型可能在安全评估中取得很好的分数，却仍然拥有过于广泛的系统权限。
反过来，一个模型即使具有一定的错误倾向，也可能因为受到严格的权限和运行环境约束，而难以造成某些类型的严重损害。
这里似乎存在另一条值得探索的道路。
《环外有界》| 插画注释：
古老的观测装置彼此凝望，构成一个没有终点的监督之环。环外的石刻边界，象征独立于智能体自身的安全约束；远处敞开的门与微光，则指向尚未抵达的未来。
当监督者也需要被监督，真正的安全，或许不在于增加多少双眼睛，而在于能否建立可靠的边界。
06 让它做对，与不让它做错
继续研究之后，我发现自己过去可能把两件事情放在了一起。
第一件，是怎样让 Agent 尽可能作出正确的判断。
第二件，是当 Agent 判断错误时，怎样防止它做出不被允许的事情。
两者当然有关，却并不相同。
前者更接近传统 AI Alignment，也就是模型对齐。
通过训练、安全规则、偏好优化和其他方法，我们希望模型理解人类目标，形成可靠的行为倾向，在不同环境中尽可能遵守相应约束。
后者则更接近 AI Control。
它不要求我们先证明模型在所有情况下都值得信任，而是尝试在模型可能出错、甚至可能故意规避约束的条件下，仍然限制其造成损害的能力。
举一个简单的例子。
假设你雇用了一位非常优秀的研究助理。
他可以阅读大量资料，理解复杂问题，提出有价值的建议，甚至比你更懂某些专业领域。
但你并不会因此自动把自己的银行账户、所有私人文件和公司的全部管理权限交给他。
你会根据工作需要给予权限。
需要访问资料，就授权访问资料。
需要采购服务，就规定金额和流程。
需要代表公司签署合同，就另行确认授权。
这种安排，并不必然意味着你不信任他的能力或品格。
只是你知道，能力、责任和权限本来就是不同的事情。
同样的逻辑，在传统计算机安全中已经发展了很多年。
操作系统不会因为某个程序“认为自己需要”访问一份文件，就自动允许访问。
数据库不会因为一个应用声称自己正在完成重要工作，就忽略访问控制。
网络防火墙也不会因为某个程序给出了合理解释，就自然放开所有连接。
这些系统在设计时，并不需要假设每个程序都能理解人类意图。
它们使用相对明确的身份、权限和执行规则来限制操作。
那么，Agent 能不能采用类似的方法？
它可以具有很强的认知能力，却不一定需要拥有同等广泛的执行权限。
它可以提出行动建议，却必须经过独立系统确认才能执行。
它可以分析某个安全策略是否需要修改，却不能自行修改正在约束自己的全部安全规则。
它可以检查另一个 Agent 是否存在风险，却不意味着它因此获得了发放无限权限的权力。
这条思路看起来并不神秘。
但我认为它可能比不断增加监督 Agent 更值得优先研究。
因为它把安全从“模型是否愿意遵守规则”，部分转化成了“系统是否允许某个动作真正发生”。
这里有一个非常重要的前提：外部执行系统必须确实拥有阻止动作的能力。
如果 Agent 可以绕过权限检查，直接调用 shell、网络接口或已经保存的凭证，那么再精密的授权规则，也可能只是写在纸上的要求。
因此，所谓系统级控制，绝不是在 Agent 外面再加一个会说“批准”或“拒绝”的模型。
它意味着把身份认证、权限验证、工具调用、网络访问和审计记录，真正落实到实际执行路径中。
在计算机安全领域，这类思想已有很长的研究历史。
例如，Reference Monitor，也就是安全参考监控器，强调安全敏感操作应当受到完整的访问检查，而且监控机制本身应受到保护，并尽可能能够被分析和验证。
到了 Agent 时代，我们面对的新问题是：那些需要被检查的动作，不再总是开发者事先写好的固定流程，而可能是模型在运行时自己规划出来的。
这会使传统安全机制更加重要，也会让它们面对新的困难。
07 把钥匙交给谁
如果我们沿着这条思路继续推进，一个 Agent 系统大致可以分成三个相对独立的部分。
第一部分负责思考和工作。
它理解用户目标，制定计划，检索信息，生成代码，调用其他 Agent，提出下一步行动。
第二部分负责权限和执行。
它检查 Agent 的身份，判断任务是否已经获得授权，决定某项工具调用能否真正发生。
第三部分负责记录、检查和恢复。
它独立记录实际的工具调用、系统状态变化和重要操作，在发现异常时触发警报、撤销权限、隔离任务，并在可能的条件下恢复系统。
这三个部分并不意味着一定需要三套庞大的软件。
它们首先是一种责任和信任边界的划分。
最值得注意的是，AI 监督者可以继续发挥自己的作用。
它能够分析一封邮件是否可能泄露信息，检查一段代码是否包含危险操作，判断一个长期任务是否出现异常。
但它给出的风险判断，不一定等同于最终的执行许可。
对于明确的权限问题，最终决定可以交给相对独立的策略执行系统。
比如，Agent 被授权研究某家公司。
它可以搜索公开网页，也可以在指定目录里写研究报告。
但是，如果它想以用户的名义发送一封邮件，就需要检查用户是否真的授权了这种对外联系。
如果它想调用付费数据库，就需要检查费用预算。
如果它想读取用户私人文件，就必须满足另外的资源访问条件。
哪怕监督 Agent 认为这些动作“很有帮助”，只要没有获得必要授权，执行系统就可以拒绝。
这样的安全机制不要求我们证明 Agent 永远不会理解错误。
它只要求系统能够在某些关键动作上可靠执行已经明确的限制。
当然，这仍然不能解决所有安全问题。
执行网关可能存在软件漏洞，权限配置可能错误，管理员可能授予过宽的权限，Agent 也可能通过多个看似正常的工具调用，间接达到原本不被允许的目的。
但这些问题至少可以被明确地识别、测试和改进。
相比单纯追问“模型是否真的理解安全”，它们为工程研究提供了另一种可操作的对象。
OpenAI 的 Daybreak 和 Defense Factory，也能够从这个角度重新理解。
这些系统尝试利用前沿 AI 自动发现漏洞、验证风险、准备补丁，并形成持续性的安全工作流程。
但它们并不意味着 AI 可以随意攻击所有系统，或自动将未经审核的补丁投入生产。
Daybreak 区分不同能力和访问级别，要求网络安全工作具有相应授权。
Defense Factory 则将自动化漏洞研究与工程师的补丁审查、测试及修复验证结合起来。
这里最值得借鉴的，并不是模型究竟发现了多少漏洞。
而是一个原则：
可以让 AI 拥有很强的发现问题的能力，却不必同时赋予它不受限制的改变现实环境的权力。
这或许是一种更适合 Agent 时代的分工。
然而，当我尝试把这个原则进一步放入真实任务中时，又遇到了新的问题。
08 一句命令，究竟授权了什么？
假设我们建立了足够可靠的权限网关。Agent 的每一次重要操作，都必须经过检查。未经授权的工具调用会被拒绝。系统也能够独立记录真实行为。
但问题随之而来：
权限网关究竟根据什么判断一个动作是否获得授权？
对于固定程序，这件事相对容易。
开发者可以事先规定某个服务只能访问哪些资源，哪些角色可以执行哪些操作。
可 Agent 的任务往往来自自然语言。
而自然语言并不是一种严格的授权语言。
“帮我研究一下这家公司”，究竟包含哪些权限？
“帮我把项目上线”，是否意味着可以修改生产数据库？
“帮我安排下周的会议”，是否包含代替用户向陌生人发送邀请？
“帮我解决这个问题”，是否意味着可以修改原本不属于当前任务范围的系统配置？
人类在说出这些话时，通常并没有列出全部隐含条件。
我们依赖常识，依赖过去的合作经验，也依赖必要时进一步询问。
Agent 同样需要处理这些隐含条件，但它处理得是否正确，无法仅凭最终任务完成情况来判断。
一个 Agent 可能成功完成目标，却在过程中越过了用户原本没有意识到需要明确禁止的边界。
这使我觉得，我们可能需要认真研究一个目前还没有得到充分解决的问题：
如何把自然语言表达的任务目标，转换成机器可以执行、用户可以理解、外部系统可以验证的授权条件？
可以暂时把它称为“语义授权”。
例如，用户要求 Agent 进行企业调研。
系统可以先把任务转化为一份明确的授权契约。
这份契约写明：允许检索公开资料，允许下载公开报告，允许在指定工作区生成研究文档；禁止未经确认向外部联系人发送信息，禁止购买付费数据，禁止访问私人账户；如需扩大权限，必须重新获得批准。
Agent 可以自行决定如何在这些限制之内完成研究。
但不能因为发现某项操作有助于完成目标，就自动把它视为已经获得授权。
这与传统计算机安全存在联系，却又有新的难度。
因为问题不仅是机器有没有正确执行规则。
还包括：规则本身，是否正确表达了人的意图？
如果用户说的是一句模糊的话，模型生成的授权契约可能过宽，也可能过窄。
过宽，会带来安全风险。
过窄，则可能使 Agent 无法完成正常任务。
更麻烦的是，随着任务推进，环境可能变化，原有授权可能不再适用。
因此，语义授权不能只依靠一次性的文本转换。
它可能需要结构化任务契约、明确的风险分类、必要的人类确认，以及运行过程中可撤销、可调整的动态权限机制。
其中哪些内容能够被形式化验证，哪些仍然需要 AI 或人类进行判断，值得开展专门的实验。
这一点让我重新理解了 Agent 安全的难题。
它不仅仅是机器是否服从人类。
在很多情况下，人类自己也没有把要求说得足够完整。
而当机器开始能够执行越来越复杂的工作时，我们过去依靠默契、习惯和社会判断来处理的授权边界，正在变成必须明确设计的技术问题。
不过，即使我们成功解决了语义授权，也还存在另一种更隐蔽的风险。
09 当每一步都没有错
想象一个由两个 Agent 构成的工作系统。
Agent A 负责研究和整理企业资料。
Agent B 负责根据已经批准的工作内容发送邮件。
A 有权读取某些文件。
B 有权向指定的合作方发送工作邮件。
如果分别检查，两个 Agent 似乎都在各自权限范围之内行动。
但如果 A 读取了一份包含敏感信息的资料，将其中的内容交给 B，再由 B 发送给不应获得这些信息的对象呢？
每一步的工具调用，可能都没有违反局部权限。
整个行为却可能造成数据泄露。
在更复杂的多 Agent 系统中，类似问题还可以通过多次委派、长期记忆、共享文件和不同工具之间的数据流动逐渐形成。
这说明，单独检查每一个 Agent 是否遵守权限，并不一定足以保证整个系统安全。
这里涉及一个更深的问题：组合安全。
一个部件安全，另一个部件也安全，它们组合起来是否仍然安全？
在传统分布式系统、信息流安全和形式化验证中，研究人员已经长期面对类似问题。
但 Agent 让它变得更加复杂。
因为不同 Agent 可能拥有不同目标、不同上下文和不同的任务理解。
它们还可能在运行过程中自主决定如何协作。
这时，安全问题不再只是某一个动作是否被允许，还涉及信息如何流动，权限如何传播，以及多个局部行动组合后会产生什么结果。
例如，一个 Agent 可能没有权限直接把某份敏感文件发送到外部网络。
但是，它有权限向另一个 Agent 提供摘要。
第二个 Agent 又有权限向第三个服务发送分析结果。
如果这些操作之间缺乏明确的信息流限制，敏感内容就可能通过多个看似合法的步骤离开原有边界。
同样的问题也可能发生在权限委派上。
A 拥有某项有限权限，它能否把权限交给 B？
B 能否继续交给 C？
如果最初的用户撤销授权，整条委派链是否会随之失效？
这些问题不能只靠增加几个监督 Agent 来解决。
因为监督者之间也可能共享错误的信息和判断。
多个 Agent 得出相同结论，并不一定意味着结论更可靠。
如果它们使用同一个基础模型、相同的检索结果，或者彼此参考对方的解释，那么它们可能一起犯错。
在统计上，当多个判断的错误高度相关时，增加判断者数量能够带来的收益会受到限制。
所以，多 Agent 安全的关键不只是监督者有多少，而是它们之间是否具有真正的独立性，以及系统是否能够验证跨主体的行为关系。
这使问题从单个 Agent 的安全，进一步走向整个 Agent 网络的安全。
也意味着未来的安全体系，可能需要同时管理身份、授权、委派、数据流、任务目标和外部副作用。
只有这样，才有机会判断一个由许多智能体组成的系统，究竟是否仍然遵守最初的边界。
而这一次，我们已经无法只依靠模型内部的对齐来回答全部问题。
10 寻找一种不必完全相信 Agent 的系统
研究到这里，我开始试着把前面那些分散的发现放在一起。
一方面，我们仍然需要更好的模型对齐。
因为一个具备良好行为倾向的 Agent，更可能正确理解用户目标，避免不必要的危险，并在遇到不确定性时主动寻求确认。
另一方面，我们也需要 AI 监督。
它可以理解复杂语义，检查代码，识别异常计划，发现传统规则很难提前枚举的风险。
但这些机制最好不要成为全部安全性的唯一来源。
对于能够明确表达的权限，应该尽可能由独立系统执行。
对于跨 Agent 的任务委派和数据流，应当建立能够追溯、限制和撤销的机制。
对于重大或不可逆的操作，需要额外的审批和确认。
对于已经执行的动作，应该保存独立于 Agent 自我报告的证据。
对于出现异常的系统，需要有暂停、隔离、撤销权限和恢复的能力。
最终，这些机制可以构成一个分层的安全架构。
我想，把它理解为三个相互配合的部分。
第一部分，是智能。
让 Agent 负责认知、规划、创造和执行复杂任务，充分利用其不断增长的能力。
第二部分，是控制。
由独立的身份、授权和工具执行机制，决定 Agent 能够在什么条件下改变外部环境。
第三部分，是证据与恢复。
记录实际发生的事情，发现异常，并在必要时限制损害。
这不是一套已经获得验证的最终方案。
它只是从现有研究中逐渐浮现出来的一条候选工程路线。
它最重要的价值，可能在于重新分配了安全问题中的不同责任。
模型对齐负责改善行为倾向。
AI 监督负责发现风险。
权限系统负责限制明确的行动边界。
审计机制负责提供独立证据。
人类和组织则负责定义重大授权、风险容忍度及最终责任。
任何一个环节都不应被假设为永远不会失效。
例如，权限网关可能被绕过。
安全策略可能配置错误。
AI 监督可能产生漏报。
人类审批者可能因信息过多而习惯性地点击同意。
独立日志可能存在完整性问题。
甚至，一个结构过于复杂的安全系统，也可能因为组件之间的协调失误而产生新的攻击面。
因此，真正要验证的，不是这套架构看起来是否合理，而是它在面对真实攻击和故障时，究竟比其他方案安全多少。
这要求我们重新回到实验。
可以构建一个隔离的 Agent 测试环境，让不同架构完成相同任务，再有意识地引入权限提升、监督者误导、长期目标漂移、多 Agent 信息泄露和适应性攻击。
一组只依赖模型自身安全指令。
一组加入 AI 监督。
一组使用多个监督 Agent。
一组加入独立权限网关。
再设置结合监督、权限控制、人类审批和独立审计的混合架构。
比较的不只是危险行为有没有被发现。
还要看它是否真的被阻止，正常任务能否完成，系统增加了多少成本，以及发生错误后能否恢复。
这一点尤其重要。
如果某个安全架构通过拒绝所有操作来实现零越权，那么它当然很安全，却也失去了 Agent 存在的意义。
真正有价值的系统，必须在完成合法任务的同时，把危险行为控制在可接受范围内。
而对于一些低概率、高损害、不可逆的风险，有限次数的测试仍然不足以证明系统安全。
我们还需要形式化验证、权限隔离、独立审计，以及对安全假设本身的持续检查。
这让我想到医学、航空航天和其他成熟安全工程领域的一个共同特点。
它们并不因为技术已经非常先进，就假设每个人、每个程序、每个部件都不会犯错。
相反，许多安全设计的起点，正是承认错误可能发生。
一个零件可能失效。
一个操作员可能误判。
一个传感器可能给出错误信号。
所以系统需要相互独立的保护机制，需要明确的责任和操作流程，需要能够检测问题，也需要在部分环节失败时尽量限制损害。
Agent 的行动空间更加开放，任务目标更加动态，许多危险后果也未必能够事先枚举。
但这种工程思想，仍然值得我们认真学习。
我们不一定需要先创造一个永远不会犯错的智能体，才能开始构建更安全的智能系统。
我们可以先问：
当它犯错时，有哪些事情仍然不应该被允许发生？
而这些限制，能不能被独立证明、持续测试，并在系统能力变化后重新验证？
这或许才是一条更容易逐步推进的研究道路。
11 在未来到来之前
写到这里，我们距离一个完整的答案很远。
即使建立了严格的权限系统，也不能保证所有危险都能事先被定义。
即使拥有先进的监控模型，也不能保证所有异常都能被发现。
即使每个 Agent 分别经过安全测试，也不能证明它们组合起来之后仍然安全。
如果未来出现能够长期自主运行、不断修改自身、设计新工具甚至开发其他 Agent 的系统，今天的安全方法还需要接受新的考验。
尤其当 AI 能力逐渐超过人类能够完整理解和验证的范围时，我们可能不得不重新思考，人类究竟应该怎样保持有意义的控制。
但我不愿意因此得出一个悲观的结论。
因为这项研究真正使我感到希望的地方，并不是某个实验已经证明了安全。
恰恰相反，是我们开始能够把一些过去非常模糊的忧虑，拆解成越来越具体的问题。
一个 Agent 为什么越权？
它究竟获得了什么权限？
这些权限从哪里来？
监督者能够观察什么？
哪些证据独立于被监督者？
哪些动作可以在执行前被阻止？
哪些风险只能通过理解上下文才能发现？
当多个 Agent 开始协作，安全规则如何在它们之间持续成立？
当系统失效时，我们能否把损害限制在足够小的范围内？
这些问题还没有全部获得满意的答案。
但它们至少让研究有了可以前进的方向。
而这恰好是我希望看到的。
我不希望人类为了安全而放弃探索智能的可能性。
也不希望我们因为太急于获得强大的能力，就把尚未解决的问题简单交给另一个更强大的 Agent。
我期待未来的 AI 能够帮助人类完成今天难以完成的研究，解决复杂的工程问题，让更多普通人获得过去无法触及的能力。
如果有一天，一个科学家能够借助 Agent 同时推进几十项实验，一个小团队能够独立创造过去需要庞大组织才能完成的成果，一个普通人能够获得更好的医疗、教育和专业帮助，我会非常愿意看到这样的世界。
但如果这些能力需要进入真实社会，它们就必须与真实的人共同生活。
它们的判断可能影响一个人的财产、一家企业的运行、一项科研工作的进程，甚至某些重要公共系统的安全。
这些后果不能只由模型生成的一段解释来承担。
更不能因为另一个 Agent 给出了“安全”的判断，就被认为已经获得充分保证。
安全最终需要落实为真实的责任、能够执行的限制、可以检查的证据，以及当事情出错时有人能够介入的制度和技术机制。
我们也许不必完全理解每一个强大 Agent 的全部内部活动，才能对它的部分行动建立可靠约束。
但我们必须诚实地知道，哪些事情已经能够被验证，哪些仍然只能依赖统计上的信心，哪些风险还没有找到足够好的办法。
当一种技术不断向前发展时，谨慎和期待并不是相互矛盾的。
有时候，正是因为我们真诚地希望它抵达更好的未来，才更愿意花时间研究那些可能使它偏离方向的问题。
我想，Agent 安全也应该如此。
我们还没有找到一种能够保证所有智能系统永远安全的方法。
也许在相当长的时间里，我们都需要继续面对不确定性。
但我们可以逐步建立更可靠的授权机制，更独立的监督证据，更严格的行为边界，以及更能经受真实攻击检验的系统。
我们可以让新的实验推翻旧的假设，让新的技术修正已有方案，也让不同国家和研究机构的探索相互补充。
这种进步可能并不总是激动人心。
很多时候，它表现为一条权限规则、一项独立测试、一份诚实披露的事故报告，或者一次本来可以发生、却最终被安全机制阻止的错误操作。
但也正是这些看起来朴素的工作，决定着一项强大的技术能否真正进入人们的生活。
我依然迫不及待地想看到未来。
只是现在，我觉得，抵达未来不应该是一场只比拼速度的竞赛。
我们还需要知道，自己正在创造什么，能够控制什么，又有哪些事情尚未理解。
如果未来真的会比今天拥有更强大的智能，那么我们现在对这些问题所做的每一次认真研究，都不会毫无意义。
因为我们真正期待的，从来不只是机器变得更强。
而是当这种力量逐渐进入世界时，人仍然能够理解自己的选择，保有应有的权利，并且有能力决定那些与自己有关的重要事情。
为了这样的未来，我们有理由继续向前。
也有理由，在它到来之前，把脚下的路看得更清楚一些。
主要参考文献与资料
OpenAI, Stopping a Running Alignment Evaluation, 2026.
OpenAI, Suppressing Misalignment Monitoring Alerts and Disabling Misalignment Monitoring, 2026.
OpenAI, Auto-review of Agent Actions Without Synchronous Human Oversight, 2026.
Greenblatt et al., AI Control: Improving Safety Despite Intentional Subversion, ICML 2024.
Kutasov et al., Evaluating Control Protocols for Untrusted AI Agents, 2025.
Terekhov et al., Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols, ICLR 2026.
OpenAI, What Affects Chain-of-Thought Monitorability Across the Model Lifecycle?, 2026.
OpenAI, How We Detect Frontier Model Misalignment, 2026.
英国 AI Security Institute, Incident Report: Unsanctioned Agent Behaviour During Cyber Testing, 2026.
工业和信息化部，《关于加强智能体终端设备进网管理的通知》，2026。
NIST, Design Tenets for Agent Identity Management Systems, 2026.
NIST, AI Agent Standards Initiative, 2026.
欧盟委员会，Navigating the AI Act.
新加坡 IMDA, Model AI Governance Framework for Agentic AI, 2026.
澳大利亚政府，New Australian AI Safety and Security Protections, 2026.
OpenAI, Daybreak Defense Factory, 2026.
Debenedetti et al., Defeating Prompt Injections by Design, 2025.
>/作者：王零壹，920.org.cn（AI Research Institute）创始人，港大AIBT研究生，前上市公司 CMO。长期研究 AI 产品、Agent 架构与商业增长，并持续观察技术变迁如何重塑人的工作、判断与生活。
*著有《AIGC从0到1》系列丛书、及东方寓言小说《飞将军》；
*善于洞察先机，1月26日中文互联网第1个意识到OpenClaw(小龙虾）范式价值的人；
关注我，一起AIGC从0到1~
