21世纪经济报道记者冉黎黎 报道
智能体正从“说话”走向“做事”,风险形态也在同步发生质变。
有调查显示,70%的组织授予智能体超出同等人类员工的权限,80%的组织已报告智能体执行了超出预期范围的行为。
关于智能体行为“超出预期范围”,受访专家指出,AI“说错话”更多的是内容风险,“做错事”则是行为方面的风险。内容风险的影响通常停留在信息层面,可以更正、澄清、撤回;行为风险一旦发生,可能已经改变系统状态、调用外部资源、完成交易或留下不可逆后果。从“说错话”到“做错事”,这是风险性质的变化而非量级变化。决定风险大小的关键不再是AI能力高低,而是它被授予了多大权限。
应对风险,我国政策正快速铺开。从《智能体规范应用与创新发展实施意见》印发,到国务院常务会议年内两度部署人工智能,“安全”二字成为重点。当智能体真正开始“做事”,权限边界如何划定,安全与发展如何平衡?
该图片疑似使用了AI生成技术,请谨慎甄别
据央视新闻报道,OpenAI三个月内两次暂停模型开发。
其中,OpenAI在9月25日发布的一份技术报告中称,9月20日,一个在沙盒中执行搜索训练任务的智能体,利用训练沙盒中DNS过滤不足的漏洞,绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。
将视线落到国内,奇安信人工智能公司安全专家邓正诚观察到,这类风险也并非未来时,而是已有苗头甚至现实案例。
他向21世纪经济报道记者提到了一个近期披露的事件:一批测试中的智能体,为完成“查询地图某场所信息”这样普通的任务,竟自己借用第三方平台执行代码、搜寻公开泄露的API密钥等。“这恰恰说明,我们让智能体自主解决问题,却很难保证它解决问题的方式始终在开发者预期的范围内。”
整体来看,中国信息通信研究院政策与经济研究所联合中国政法大学人工智能法研究院发布的《智能体治理研究报告(2026年)》指出,面对智能体时代的治理新命题,人工智能治理已全面进入从以内容合规、事前审查为重心的模型治理,向以行为约束、全周期治理为重心的智能体治理加速转型的关键阶段。2026年非人类身份管理组织(NHI Mgmt Group)发布的基础设施身份问卷调查显示,70%的组织授予智能体超出同等人类员工的权限,80%的组织已报告智能体执行了超出预期范围的行为。
智能体执行了超出预期范围的行为意味着什么?
赛迪顾问人工智能与大数据研究中心高级分析师白润轩对21世纪经济报道记者表示,从“说错话”到“做错事”,这是风险性质的变化而非量级变化。生成式模型阶段,风险停留在输出层,人仍是最后一道判断关口。智能体阶段,模型拿到了工具调用和系统权限,输出不再是一段文字,而是会改变现实状态的动作,资金划转、数据外发、设备控制都在其中,且可在无人干预下连续执行几十步,治理对象从静态内容变成了动态行为边界。
赛迪顾问人工智能与大数据研究中心高级分析师韩子哲对21世纪经济报道记者表示,一个能力并不突出的智能体,如果拥有读写文件、访问网络、调用工具、发起支付等权限,就可能比一个能力很强但只能读取数据的智能体造成更大实际损害。所以,判断AI风险大小不再只看AI能力高低,而是它被授予了多大权限。出问题的原因,往往不是AI想做错事,而是它想把事干成,结果走了设计者没想到的路。
《国务院关于深入实施“人工智能+”行动的意见》提出,到2030年,新一代智能终端、智能体等应用普及率超90%。
据工信部10月20日公布的数据,截至目前,已有超百款人工智能终端产品符合L3辅助级能力要求,能够理解复杂意图、主动服务用户,覆盖手机、电脑、电视、眼镜、汽车座舱、耳机等主要终端品类。
智能终端不断面世,智能体在生活中的渗透将不断加深,而一个现实问题仍待回答:当智能体真的开始“做事”,权限边界如何划定?安全与发展如何平衡?
白润轩认为,划定边界的核心,是把授权单元从功能换成任务。传统应用权限按功能静态划分,一旦授予便长期有效。智能体需要的是完成某次具体任务的临时许可,授权因此应当做到任务绑定、时间限定、额度设上限、随时可撤销,任务结束即刻回收。
韩子哲也指出,智能体的授权机制可以从传统移动互联网的静态授权模式,转向动态授权模式。智能体在执行具体操作时逐次申请权限,操作完成后立即收回。权限边界可以按任务、场景和操作粒度动态界定。
白润轩指出,当前的难题集中在责任、协同和可逆性三个环节。责任分配最为突出:自主决策造成损害后,开发者、部署者、应用提供方与用户之间如何分担,现行法律缺少清晰规则,智能体不具备承担义务的主体资格,也难以简单视为用户意志的延伸,因为用户既无法预见具体步骤也无法控制中间过程。
白润轩进一步表示,中美均已出现智能体司法案件,裁判却只能回到现有法条类推。跨平台协同规则同样薄弱:智能体的价值恰在跨应用、跨终端,但数据壁垒与服务协议能否约束第三方智能体,仍靠企业自治和个案博弈。行为可逆性同样棘手:资金划出、数据发出即无法撤回,需要保证金、责任保险或先行赔付等配套跟上。
应对风险,我国政策正快速铺开。
今年5月公布的《国务院2026年度立法工作计划》明确提出,“完善人工智能治理,加快推进人工智能健康发展综合性立法”。当月印发的《智能体规范应用与创新发展实施意见》(以下简称《实施意见》),明确将智能体安全、可靠、可信作为发展的底线要求,要求发展对抗样本检测、行为异常检测等安全与治理工具,提升对智能体非合规行为的发现、干预、阻断、恢复能力。
白润轩指出,《实施意见》已厘清三种决策方式的界限:仅限用户本人决策、需由用户授权决策和智能体自主决策,明确“智能体执行操作不得超出用户授权范围”。落地关键在于高风险动作的“硬闸门”,涉及资金支付、身份认证、合同签署、数据外发的操作,必须保留一道智能体无法绕过的确认环节。
标准体系也在落地。今年发布的《人工智能 智能体互联》系列7项国家标准,覆盖总体架构、身份码、身份管理、智能体描述、智能体发现、智能体交互、智能体工具调用等内容,系统性搭建起“身份标识—能力描述—供需发现—协同交互—工具调用”全覆盖、闭环式标准规范体系。
国务院常务会议也在密集部署。6月29日,国务院总理李强主持召开国务院常务会议,听取人工智能发展情况汇报。会议指出,要守牢人工智能安全底线,完善科技伦理、测试认证等制度规则,构建动态适应、分级分类的安全监管体系,加强国际人工智能治理合作。
10月16日,李强主持召开国务院常务会议,听取“人工智能+”行动进展情况汇报。会议指出,要统筹发展和安全,因业分级分类施策,加强风险研判评估,守牢人工智能安全底线。
国研新经济研究院创始院长、智能经济首席专家朱克力对21世纪经济报道记者表示,两次会议都强调“发展安全并重”,都提出分级分类思路,守牢人工智能安全底线,兼顾产业发展和风险防控。
白润轩表示,安全与发展不是此消彼长的取舍,而是同一套信任基础设施的两个侧面。没有安全做基底,用户不会把真实账号和资金交给一个不确定的执行者,智能体就永远停留在演示场景;离开发展,安全也会失去反复压力测试的场景和样本。
白润轩指出,真正的难点在规则的粒度与节奏。智能体技术形态仍在演变,把某种架构或具体指标写进强制条款,很可能明年就失效甚至锁死更好路线,因此标准先行、底线清单加事后问责比事前审批更合适。
“我国已在走这条路,终端分级国标建立了从响应级到协同级的体系,专项文件实行分类分级治理,对敏感领域实行备案、检测、召回,对低风险领域留足创新空间。合规成本也应当做成公共品,认证、审计、授权协议若每家自建一套,中小企业会被门槛挡在外面,把安全基座做成行业共用设施,竞争才能回到体验和服务本身。”白润轩表示。







