本文来自微信公众号: Internet Law Review ,作者:Landry Signé
过去两年,人工智能的前沿发展,正在从“会回答的模型”变成“会办事的智能体”。
这里的智能体(AI agents),指能够自主规划、调用工具、连接外部系统并执行任务的技术系统。2025年,智能体在计算机任务上的准确率从12%提升到66.3%,距人类平均水平只差6个百分点;市场研究机构Precedence Research预计,全球智能体市场将从2025年的80亿美元增长到2034年的1990亿美元。
能力跃迁带来了一个关键问题:原来那套“管模型”的治理方式,不够用了。基于风险的方法、生命周期治理、问责制、安全和人工监督依然相关,但随着系统行动更快、人工干预减少,治理必须变得更加精准且高效。
一、智能体带来的变化:不是“说什么”,而是“做什么”
传统AI治理建立在清晰分阶段的基础上——开发、采购、部署、输出审查。重点往往是“模型生成了什么内容”,以及有没有“违规的输出”。
但智能体把模型、记忆、编排、工具调用和外部系统权限绑在了一起。它不像聊天机器人那样,将决策交给人类,而是被设计成在人工介入之前就触发下一个系统动作:发邮件、改记录、下单、转账、调用API、移出生产线设备。
一旦连上工具、拿到权限,智能体就不再是普通软件,而更像被授权的“数字执行者”。风险也从内容合规,扩展到以下方面:
1、目标适配(goal misalignment)
2、行为漂移(behavioral drift)
3、工具滥用
4、多智能体协调失败
5、提示注入导致整条链路被劫持
所以,布鲁金斯学会(Brookings)最新的文章《塑造人工智能代理的全球治理》给出的判断很直接,治理核心不再是“模型说了什么”,而是:
系统做了什么?为什么被允许做?谁应该对此负责?
二、治理缺口:结构性问题
当企业只知道智能体“能做什么”,但没有认真梳理并授权“允许它做什么”,治理漏洞就一定会出现。但这种应对上的难题,并非是某个个别企业的责任,无论是智能体的开发者、使用者,还是监管者,都面临着以下结构性问题:
挑战一:从模型到系统,治理对象改变了
治理传统AI的结构通常基于步骤和阶段——从模型开发到采购、部署、输出进行审查,通常专注于通过内容过滤、数据保护和输出审查等措施来控制人类与AI的互动。单AI智能体让这些边界变得没有意义。
但为什么边界会消失?
这不单单不是因为智能体更复杂,更是治理对象从模型变成了“系统”,智能体将模型与记忆、编排调度、工具以及外部系统访问能力相结合,催生了截然不同的风险特征。
挑战二:没有可理解性,就无从审计
AI智能体使用复杂的机器学习算法来分析概率并确定行动,这种方式人类不一定能理解,因此也很难对其进行审计。
这与模型的“黑箱问题”有所不同,甚至更深一层:人类目前无法完全理解智能体为什么调用某个具体的API接口,而不是另一个。传统模型的可解释性解决的是“思维链”问题,智能体的可审计性要解决的是“行为链”问题。
如果没有一套语言来描述智能体的决策轨迹,审计就更无从下手。
挑战三:自主性与可控性之间的结构性张力
智能体的核心特征之一是适应性(adaptability)——它不是严格按照预设指令执行的脚本,而是在给定目标下自主选择路径。
这就产生了一个两难:如果授权太细,每步都要人工确认,智能体的效率优势就被抵消;如果授权太粗,仅仅给它目标任务的授权,它可能会采取一条授权者意想不到且不合规的路径。
如果开发者不能穷尽智能体所有可能的执行路径,也就无法提前设定所有路径对应的权限边界。因此,智能体的“自主性”和“可控性”之间存在结构性张力,不是简单地靠更长的权限列表就能解决的。
挑战四:执行速度与治理速度的巨大差异
这里真正的矛盾不是“监管慢”,而是智能体的执行速度和人类的干预速度之间存在数量级的差距。一个智能体从收到指令到完成一系列工具调用,可能只需要几秒钟;而一个人工审核流程——发现问题、定位原因、确认责任、启动熔断——至少需要几分钟到几个小时,甚至更长的时间。
在速度严重不对称的情况下,“治理”本身也成了一个需要被治理的系统。
三、智能体治理:基础、增量与方向探索
以上提及的矛盾都指向一个令人不安的结论:智能体治理可能不存在一键解决的方案。
但这不是说现有方案没有价值。恰恰相反,国际上主流的基于风险的生命周期治理方法仍然适用,但主要的差距在于执行:如何将治理原则转化为操作控制,同时又不阻碍并丧失掉智能体发展的机遇?
第一层:基础层——必须做,但也远远不够
1、结构化授权:世界经济论坛据此提出“智能体能力域授权档案”(Agent Capability and Authorization Profile)工具:将智能体的能力与授权分开记录,明确所有者、权限范围、人工干预点、监控与评估证据。
该工具/方法可以防止“过度授权”,这也是智能体最突出的安全风险之一,但无法防止“授权范围内、但路径意外”的行为。一个智能体被授权“查询客户信息”,但过程中可能选择通过关联数据推断出不应公开的信息。
2、权限最小化:这是信息安全领域经典原则,工具白名单、API访问控制、临时token等都是具体的实现手段。
这一方法可以显著降低因权限过大导致的安全事件概率。却无法防止“正常执行中的数据泄露”。北京交通大学法学院付新华在《智能体的数据安全风险及其法律规制》中指出,即便在既有授权范围内正常运行,新的数据不断进入并可能成为后续规划与执行的依据,数据处理范围会随着任务推进动态扩展。这使数据处理的必要范围难以在任务启动时一次确定,也难以仅凭最初的收集目的加以判断,增加了最小必要原则的适用难度。
3、日志留痕与端到端追踪:无论是中国的AI相关法规,还是欧盟的《人工智能法案》或美国NIST AI RMF,都有对持续、可追踪的证据的要求或规范。当事故发生,开发者或监管可以通过日志还原智能体的行为链,这对于责任认定和事后改进至关重要。
但日志是“回头看”的工具,无法成为“向前看”的个屏障。日志只能告诉我们智能体做了什么,却很难解释其行为的因由。
4、人工确认:在高风险操作场景下,通常各国都会规定人工审核的闸门。特别是涉及资金、合同、敏感数据、资格判定等场景,强制人工确认可以有效拦截明显错误的决策。
但如前所述,人工确认的速度远远低于智能体的执行速度,如果人工确认的次数变多,智能体的效率优势不再、部署的必要性就会大大降低。
第二层:增量改善——有价值,但有天花板
1、运行时治理(Runtime Governance)
布鲁金斯学会文章强调,在多个检查点实时检查智能体行为,包括持续监控、日志记录、升级、可审计性和救济。这是应对智能体“秒级自主权”的必要手段。如果知恩给你提的行为触发了预设的规则——比如尝试调用未授权API、访问敏感数据、超出成本上限——运行实时治理系统可以立即拦截或告警。
但运行时治理本质上也是用自动化对抗自动化,它依赖于预设的规则和已知的攻击模式。而且,它并不能真正消除风险,而是将智能体的执行风险,转移到治理系统的设计风险。治理系统本身也是一个需要被监控和治理的系统。
2、轨迹追踪与决策链观察
为了解决智能体“黑箱”的问题,治理须通过观察决策链及其交互来评估,而不只是审核最终输出的结果。通过记录智能体每一步的决策依据、工具调用、中间结果,可以提高其行为的可见性,在事后更细致地分析其行为逻辑。
追踪本身目前尚不能完全回答智能体“为什么这么做”的问题,但追踪和观察本身还是必要的,这会为将来打开黑箱提供更多的数据和证据。
第三层:方向探索——正确但尚未成熟
1、多利益相关方共治
布鲁金斯学会文章中提到了除模型开发者、部署者、用户之外另外一类群体——受影响群体的重要性。例如一个城市部署了自动审批低保的智能体,收益的是政府效率,但受影响的是申请者,他们可能不知道自己的材料被算法判断,也没有渠道质疑其结果。
因此应当让更多元的视角进入规则制定过程,这样才能兼顾公平、可申诉、非歧视等价值。但这一方法执行效率低,难以落地为具体的技术标准,尚不成熟成为一种原则。
2、国际标准协调
此外,智能体一旦接入MCP、调用SaaS工具、使用云端模型火把轨迹写入观测平台,每一次工具调用都有可能触达境外节点。跨境不是偶发风险,而是智能体架构的内生特征。模型可以本地化,但智能体的行为链很难本地化。
如果每个国家都拥有一套独特的标准,跨国企业将面临巨大的合规成本,而统一的标准有助于降低门槛。而治理智能体的跨境风险,需要把“法域”问题写进授权本身。
结语:在不完美的世界做最优决策
没有一个方案能单独解决智能体治理的全部挑战。
但这意味着,我们必须承认现在的不完美,然后在已知的局限内做出最优决策。智能体治理的终极问题不是“如何消除所有风险”,而是:设计一套机制,让失控的概率降到可接受的范围,并在失控发生时,有能力快速发现、准确定位、有效止损,并在开发者、部署者和用户乃至相关利益者之间明确共同责任的前提下,分配责任。
参考链接:https://www.brookings.edu/articles/shaping-global-governance-of-ai-agents/
作者:Landry Signe,Krala Yee Amezaga
布鲁金斯学会高级研究员







