本文来自微信公众号： AIGC从0到1 ，作者：王零壹，原文标题：《最强 Agent，为什么不能自己给自己发通行证？》
当Agent开始写代码、发邮件、操作浏览器、调动数据库、调用支付接口，甚至再委派几个Agent去干活时，AI安全的问题变了。
现在，问题变成了：它一旦被带偏，能做什么？
一个能够持续运行的Agent，可能读取内部文件、把信息发往外部、修改生产环境、替你花钱，或者在数天后继续执行一条早已被忘记的任务。
于是，一个很自然的想法出现了：
既然执行Agent可能不可靠，那就再放一个更强的Agent来监管它。
行业正在大量尝试这件事。OpenAI的Auto-review就让单独的模型审查Codex越过沙箱边界的行动请求；其公开报告中，自动审批率为99.1%，针对合成提示注入场景的召回率为99.3%。但OpenAI同时写得很清楚：这不构成确定性的安全保证，监督模型仍可能被误导，且它也无法覆盖执行者在边界以内的全部行为。
它暴露了Agent安全里最深的矛盾：
当执行者、监督者，甚至审批者都可能犯错时，最后谁有资格发出那张“可以行动”的通行证？
答案不能只是“再加一个更聪明的模型”。
1.“让AI监管AI”，究竟在监管什么？
把AI安全当成一个问题，往往会让人误入歧途。
实际上，至少有三层不同的问题：
| 层次 | 真正的问题 |
|---|---|
| 意图安全 | Agent是否倾向于做出危险、越界或欺骗性的选择？ |
| 行动授权安全 | 即使它想做，系统是否允许它真的做出来？ |
| 结果与社会风险 | 即使每一步都被允许，最终是否造成了不可接受的后果？ |
这三层不能互相替代。
模型训练得更对齐，不能证明它永远不会被诱导或在陌生环境中失效。
工具权限设置得再严格，也不能自动识别所有“表面合法、实际危险”的组合行为。
审计日志记录得再完整，也无法自动挽回已经泄露的数据、已经发出的邮件、已经签下的合同。
所以，围绕Agent的安全技术看似很多，实则是在不同位置上处理不同的失效模式。
有的路线相信，应该让模型内生地更安全；有的相信，更强的AI可以监督较弱的AI；有的认为，多Agent互相审查就能降低单点错误；有的则主张把权限判断交给外部网关、内核或策略系统；还有一些路线强调人类审批、组织责任，或者在无法证明安全时直接限制能力和部署范围。
它们面对的是八种不同的风险。
真正危险的，不是选错某一条路线，而是把其中一条误认为万能答案。
2.为什么多放几个监督Agent，也不会自动更安全？
先看最直观的一条路线：更强的模型监督更弱的模型。
这件事有真实价值。
复杂任务里，模型可以帮助识别提示注入、异常指令、隐蔽的数据外传路径，也可以对Agent的操作做风险分流。没有模型监督，大量语义风险甚至难以被及时发现。
但“更聪明”与“更可靠”，从来不是同义词。
监督Agent也需要理解上下文，也会面对不可信内容，也可能被执行Agent专门优化出来的表象所误导。
2026年ICLR一项关于适应性监控攻击的研究显示，不可信模型可以将提示注入藏进监督模型阅读的内容里，从而影响依赖语言模型的控制协议。
这意味着，监督者不是站在风险之外的裁判。
它同样处在攻击面里。
于是，人们转向第二个直觉：那就多投几个监督者。
让几个不同的模型独立审核，少数服从多数。听上去很像安全。
可多数投票有一个经常被忽略的前提：多数人的错误必须足够独立。
如果所有监督Agent都读到同一份被污染的上下文，使用相似的模型架构、相近的训练数据、同一种评估方式，它们很可能不是“五个独立法官”，而是“五个一起看错题的人”。
模型数量增加了，相关错误却没有消失。
多Agent互检当然仍有价值。它可以降低部分偶发错误，可以引入不同模型、不同提示词、不同工具和不同证据来源。但它不是把“一个可能犯错的系统”简单叠加成“绝不会犯错的系统”。
安全从来不等于投票人数。
安全取决于：错误是否独立、证据是否多源、权限是否真的能被阻断。
3.检测到了风险，不等于阻止了风险
很多安全系统的指标看上去很好：召回率很高、拒绝率很高、监控覆盖很广，容易造成一种错觉：系统已经安全了。
其实，至少要区分四件事：
| 指标 | 它真正说明什么 |
|---|---|
| 检测率 | 系统是否注意到了可疑行为 |
| 召回率 | 已知风险样本里，有多少被识别 |
| 阻断率 | 被识别后，有多少危险动作真的没有发生 |
| 安全率 | 在真实环境里，系统整体是否避免了不可接受的后果 |
这四件事不是一回事。
一个监控系统可以准确提示“这个操作有风险”，但权限系统仍可能允许它通过。
一个模型可以拒绝明显危险的请求，却被新的提示注入形式绕过。
一个Agent可以在单次工具调用上完全合规，却通过十次分别合规的调用，组合出一次数据泄露。
比如：
Agent A被允许读取内部名单；
Agent B被允许向外部邮箱发信；
两个权限单独看都合法；
但A把名单交给B，B再对外发送。
没有任何一步看起来像“越权”，整个系统却已经越权。
这就是Agent安全中最棘手的部分：局部安全，不等于组合安全。
当Agent开始长期运行、相互委派、共享上下文、调用外部服务时，真正需要管理的已不再是一串孤立的API请求，而是一条不断延伸的行动链。
谁发起了任务？
它代表谁？
它的子Agent继承了哪些权限？
权限能否随着委派不断收缩？
操作完成以后，谁能追溯、暂停、撤销和恢复？
这些问题不是提示词工程能够独自解决的。
4.Agent不该自己决定自己能做什么
这里需要做一次关键的分离。
Agent擅长的是理解、规划、搜索、判断、生成方案、调用工具。
但“它想做什么”与“它被允许做什么”，不应该由同一个系统决定。
NIST在2026年提出的Agent身份与授权设计原则，已经把这个方向说得很具体：Agent应有独立、可验证的身份；委派给子Agent的权限应当收缩；空闲时不应保有常驻权限；授权应短时、动态、可撤销；推理系统与策略系统应在架构上分离。
这可以被理解成一句简单的话：
Agent可以提出行动，但不该自己给自己签发通行证。
一个成熟的Agent系统，至少需要三层相互独立的平面。
第一层是智能平面。
这里是模型真正“思考”的地方：理解任务、规划步骤、调工具、写代码、做研究、处理异常。
第二层是控制平面。
这里不负责思考任务本身，而负责判断：谁在行动、代表谁、允许访问什么资源、权限是否过期、预算是否超限、当前状态是否仍符合原始授权。
第三层是证据与恢复平面。
这里负责留下独立记录，支持暂停、撤销、隔离、回滚与复核。它不应该由执行Agent自己维护，更不能让执行者在事后轻易抹掉。
这三层的分离，并不意味着控制平面绝对正确。
它的规则可能写错，配置可能遗漏，网关可能有漏洞，初始授权也可能被自然语言误解。
但分离本身有一个决定性的意义：
它减少了“一个模型既负责想办法，又负责决定自己是否可以做”的循环。
5.给Agent一份任务，不等于给它一张空白支票
有人提出了一套候选工程架构：Verifiable Agent Control Architecture可验证智能体控制架构，简称VACA。
它提供了一种很重要的思路：把授权变成可以检查、可以收缩、可以撤销的系统对象。
可以把它理解为一份机器可读的“任务契约”。
一项任务不应只写：
帮我研究这个公司。
它还需要说清楚：
这个任务代表谁执行；
可以使用哪些工具；
可以访问哪些数据；
不能做什么；
是否允许委派；
委派能到第几层；
预算和时间上限是多少；
哪些操作必须升级审批；
哪些行为必须留下审计记录。
例如，一个研究Agent可以被允许搜索公开网页、写入工作区报告，却不能擅自联系外部人员、使用付费服务、登录私人账户或修改生产系统。
这并不是在限制Agent的能力，它是在区分“你希望它完成什么”与“为了完成这件事，它被允许触碰什么”。
VACA的关键不在于多画几个框，而在于几项必须被验证的约束：
| 约束 | 它要防什么 |
|---|---|
| 完整中介 | 任何外部副作用都不能绕过工具网关 |
| 授权不变量 | 行动只有在当前契约与状态下被授权时才可执行 |
| 权限单调收缩 | 子Agent不能比母Agent拥有更大权限 |
| 独立审计 | 执行者不能自己删除关键日志 |
| 高风险确认 | 不可逆动作需要额外的人类或组织授权 |
| 失效保护 | 策略或监控失效时，不应默认放行 |
| 可恢复性 | 可以撤销权限、隔离环境、保全证据 |
这才是Agent安全真正开始工程化的地方。
不是训练一个永远不犯错的模型。
而是假设模型会犯错，并尽量让它犯错时无法直接造成最坏后果。
6.人类审批也不是万能按钮
说到这里，很多人会说：那就把高风险操作交给人确认。
当然需要人。
但“有人点了批准”，不等于“有人真正完成了监督”。
如果每天有几百次风险提示、几十次跨系统授权、十几份上下文很长的操作说明，人类审批会很快变成一种仪式。
人会疲劳，会赶进度，会默认同意，也会被模型生成的漂亮解释说服。
所以，高质量的人类监督，不是把人塞进每一个环节。
而是把人留给真正需要裁量的环节。
哪些动作不可逆？
哪些后果影响外部主体？
哪些授权范围不清？
哪些异常需要脱离模型的独立证据才能判断？
哪些决策涉及利益冲突、法律责任和价值取舍？
这些地方，人类不能只是一个点击“同意”的按钮。
人类需要拥有看得懂、能复核、能否决、能追责的实际权力。
这也是为什么安全不能只是一套模型能力问题。
它最终仍然是组织问题、制度问题和责任问题。
7.从一个Agent的权限，到大国之间的AI风险沟通
过去一年，多个国家和地区开始从不同入口处理Agent风险。
中国的相关文件与标准，更关注智能体终端、身份标识、调用声明、部署使用与风险管理。
美国开始从Agent身份、委派链、权限收缩、动态授权与证据记录切入。
欧盟并没有单列一个“Agent法律类别”，而是会依据具体用途、系统形态和风险等级，把Agent纳入既有AI系统和GPAI规则。
新加坡强调事前约束、有意义的人类责任、全生命周期技术控制和用户透明度。
英国、澳大利亚及五眼网络安全机构的讨论，则更多聚焦最小自主权、风险建模、持续评估、事故报告和身份治理。
它们已经有一种明显的收敛：
Agent不再只是“一个会聊天的软件功能”，而是一个必须被识别、被授权、被约束、被记录和被追责的行动主体。
这场治理也不只发生在企业和国家内部。11月15日，围绕深圳APEC峰会，中国再次释放了一个清晰信号：中美既是AI竞争者，也有责任在风险管控上建立合作与沟通。
中国驻美大使谢锋提出，两国有能力、也有责任共同发展和管理AI，确保它始终处于人类控制之下，服务于人类福祉；中方也欢迎更多国家参与世界人工智能合作组织的建设。
这不是要用合作取代竞争，更不是要求任何一方放弃自主创新。恰恰相反，越是在模型、算力、芯片和产业应用上激烈竞争，越需要为共同风险留下最低限度的沟通机制。
此前中美已同意围绕AI风险与收益开展对话，并建立AI事件沟通渠道；11月的后续对话，至少说明双方已经承认：某些风险不会因为竞争而自动消失。
对Agent而言，这尤其重要。一个Agent的越权，尚可通过权限撤销、日志审计和系统隔离处理；如果高能力AI的事故跨越企业、供应链与国界，治理就还需要事件通报、风险评估、危机沟通和可验证的共同规则。
中国提出开放合作，并不回避竞争现实；它强调的是，不能让竞争把所有刹车、护栏和沟通渠道一并拆掉。
8.未来不是谁监管最聪明的Agent
“AI监管AI”并不是错的方向。
模型监督会越来越重要。它能处理人类难以实时阅读的上下文，能识别复杂语义风险，也能把大量低风险任务从人工审批中释放出来。
但它不该被当作最后一道、唯一一道闸门。
因为监督模型会误判，会被攻击，会遗漏，也会与执行模型共同犯错。
真正值得建立的，不是一个永远正确的超级监督者。
而是一套承认所有参与者都可能出错的系统：
把可形式化的边界交给强制权限控制；
把复杂语义风险交给模型监督与独立评估；
把不可逆、高损害的决定交给真正有能力承担责任的人和组织；
把每一次授权、行动、异常与恢复，变成可追溯的证据链；
让任何一层失效时，系统仍有机会停下来，而不是一路滑向现实世界。
未来最重要的问题，不是谁监管最聪明的Agent。
而是当模型、监督者和人类都可能犯错时，我们能不能把有限权限、独立证据、可撤销授权和可恢复性，拼成一个风险仍有上限的系统。
