你有没有想过一个问题:你让AI帮你订机票,它会不会在浏览航空公司网站时,被页面里藏着的一行小字欺骗,偷偷把你的信用卡信息发送到别处?
这不是科幻场景。
2024年之后,大语言模型开始从"聊天机器人"进化成"智能体":它们能自己调用工具,搜索信息,读取文件,发送邮件,完成一连串复杂任务。但这种能力的代价是,攻击面也跟着扩大了。以前你只需要担心用户会不会问出"怎么做炸弹"这种明显的坏问题,现在你得担心工具的说明文档会不会被篡改,网页内容会不会藏着指令,甚至工具返回的结果本身会不会就是个陷阱。
上海人工智能实验室等机构的研究者们,就针对这个问题做了一件挺有意思的事:他们让一个AI去故意"使坏",设计各种刁钻任务来坑另一个AI,然后让被坑的那个AI在无数次被坑的过程中学会自保。这篇论文提出的框架叫AgentSafeEvo,核心思路是攻防双方共同进化。
这件事难在哪里
先说说传统做法是怎么应对AI安全问题的。
最常见的思路是对抗训练:收集一批已知的恶意提示词,拿去训练模型学会拒绝。听起来挺合理,但问题在于,这个攻击集合是固定的。
固定攻击集合的问题在于,模型的能力在变化,而攻击方式却停在原地。就像你给自己家装了一套防盗系统,专门针对2020年常见的几种撬锁手法做了加固,结果小偷换了新工具,你的系统完全没有察觉,因为它压根没见过这种新攻法。如果不持续更新攻击样本,防御能力就会随着时间推移而逐渐失效,这不是假设,而是论文开篇就指出的真实局限。
于是"对抗共同进化"的思路出现了:不再用固定的攻击集,而是让一个攻击者模型持续生成新的攻击,防御者模型持续学习抵抗,两者在训练过程中互相倒逼对方变强。
对抗共同进化:攻防双方在训练中反复博弈,攻击者试图找出防御者的弱点,防御者试图抵御攻击者的招数,双方的策略都随着训练不断调整和升级。
但已有的对抗共同进化研究,大多停留在"语言层面"。比如一个叫Self-RedTeam的工作,让同一个模型既当攻击者又当防御者,互相对练;MAGIC则是训练两个独立模型,一个专门写恶意提示词,另一个专门给出安全回应。这些工作解决的问题是"怎么让模型不说坏话",但智能体面对的问题远不止"说什么",更核心的是"做什么"。智能体会在多轮工具交互中做出一连串决策,安全风险可能藏在任何一个环节里。
有个叫ARLAS的工作往前走了一步,专门针对网页任务训练了一个攻击者,让它往网页观测结果里注入恶意指令。但它的攻击者能力有限,只能在已经给定的任务框架里做文章,没办法从零开始设计一个全新的、带有陷阱的任务。这就好比你让一个小偷只能在别人已经选好的房子里找漏洞,但不能自己挑房子、不能自己布置陷阱。
论文作者们想问的问题是:能不能让攻击者不只是修改现有任务,而是直接构造出全新的、涵盖多种攻击类型的完整任务?
这个问题听起来简单,做起来却牵涉到好几层设计。我们一层层拆开看。
攻防双方到底在博弈什么
AgentSafeEvo的核心设定是一个攻击者模型和一个防御智能体的博弈游戏。
攻击者模型:给定一个场景、一个恶意意图和若干工具定义,攻击者负责生成一整套任务,包括用户的提问、可用的工具说明、以及工具执行后返回的模拟结果。这意味着攻击者不只是改一句话,而是从头设计整个"犯罪现场"。
防御智能体:拿到攻击者设计好的任务后,防御者要像真正的AI助手一样,通过多轮调用工具来完成任务,最终给出答案。
论文里划定了六种攻击类型:直接提示注入(用户问题里直接藏着恶意指令)、间接提示注入(恶意指令藏在工具返回的外部内容里)、工具描述注入(篡改工具说明文档来误导智能体)、虚假信息(用不实消息引诱智能体做错误决策)、有害工具执行(任务本身就是要干坏事)、用户查询越狱(用社会工程学话术哄骗智能体突破底线)。
这六种类型基本覆盖了智能体从接收指令到执行动作全链路上可能遭遇的各种花招。举个例子,工具描述注入听起来有点抽象,但想象一下:你叫外卖,点进一个标注着"4.9分好评如潮"的餐馆,结果这个评分是商家自己P上去的。工具描述对智能体来说就是这个"评分标签",如果标签被篡改,智能体对工具能力、权限范围的判断就全乱了。
那防御智能体是怎么被训练的?这里用到了一套奖励机制,分成安全和实用两个维度来打分。
安全奖励:用另一个模型充当裁判,判断防御智能体的整个交互轨迹是安全的还是不安全的,安全得正分,不安全得负分。
实用奖励:裁判还会判断防御智能体有没有完成任务里合理、正当的那部分要求。
为什么要分两个维度而不是只看安全?因为论文作者发现了一个很现实的陷阱:如果只奖励安全,模型学会的策略很可能是"干脆什么都拒绝"。这就像一个保安为了绝对不出安全事故,直接把大门焊死,公司是安全了,但也没法正常营业了。为了避免这种"一刀切"式的过度防御,论文专门设计了实用性评分,逼着模型学会"挑出有害的部分拒绝,同时把正当的部分做完"这种更精细的平衡能力。
攻击者的奖励设计也有讲究。它不是针对单条防御轨迹打分,而是针对整个任务:让防御者跑出多条轨迹,取这些轨迹防御奖励的平均值,然后给攻击者一个相反的奖励。换句话说,防御者表现越差,攻击者得分越高,这是一种零和博弈的设定。
零和博弈:一方的收益恰好等于另一方的损失,总和永远为零,常用来描述纯粹的竞争对抗关系。
被忽略的信号:哪些任务真正值得学
这是整篇论文我觉得最有巧思的一个设计,叫做"可学习性引导的任务加权"。
先说这个问题是怎么被发现的。强化学习里常用的一种算法叫GRPO,它的基本思路是让模型生成一组候选结果,然后把这组结果内部的奖励做归一化处理,谁相对更好就多学一点,谁相对更差就少学一点。
GRPO:一种强化学习算法,通过比较同一组候选结果之间的相对优劣来调整模型,而不依赖一个绝对的打分标准。
这套方法听起来挺合理,但放到AgentSafeEvo这个场景里,会出现一个隐藏的问题。设想这样一种情况:攻击者针对某个任务生成的攻击特别狠,防御者不管怎么应对都失败,8条轨迹得分全部一样低。这时候,组内归一化之后,这些轨迹之间没有任何差异,防御者的学习信号就是零,它压根不知道该怎么改进,因为所有尝试看起来都"一样差"。
同时还有另一面:攻击者那边的奖励是取防御者多条轨迹的平均值。一个任务哪怕让所有防御轨迹都拿到同样的低分,这个任务在攻击者看来依然是"平均分很低、攻击很成功"的好任务,会被攻击者继续强化,即便它对防御者的训练毫无帮助。
这就形成了一个错位:攻击者眼里的"好任务"(平均杀伤力大),未必是防御者真正能从中学到东西的任务。
论文给出的解法是,用"同一任务内部防御奖励的标准差"作为衡量这个任务是否值得学习的指标。标准差大,意味着防御者在这个任务上的表现有起伏,有时候能应对、有时候应对不了,这种有区分度的任务才是真正能提供学习信号的任务。标准差小甚至是零,意味着这个任务对当前防御者来说要么太容易要么太难,学起来没什么增量。
标准差:一组数据离散程度的度量,数值越大说明这组数据之间差异越大。
想象你在健身房请私教,私教给你安排训练计划。如果每一次深蹲你都轻松完成到满分,或者每一次都彻底失败趴在地上,这两种情况其实都没有给你的教练提供有用的反馈信息,教练不知道该把重量往哪个方向调。真正有价值的训练强度,是那种你有时候能撑住、有时候撑不住的临界点,这种起伏本身就是信息,告诉教练你的极限大概在哪里。如果私教只看"你今天举起的总重量"而不看"这些尝试之间的波动",就会一直给你安排错误强度的计划,要么太轻浪费时间,要么太重练伤身体。AgentSafeEvo的做法,相当于让这套私教系统学会去看"波动"而不只是"总量"。
具体实现上,论文计算每个任务的标准差相对于同批任务平均标准差的偏离程度,偏离越大,权重越高,然后把这个权重同时施加在攻击者和防御者的优势函数上。注意这里的关键词是"同时"和"相同权重"。论文的消融实验显示,只给攻击者加权重或者只给防御者加权重,效果都不如两边用同一套权重好。这说明攻击者和防御者需要被同一个信号协调着走,不能各练各的。
冷启动问题:攻击者怎么学会使坏
还有一个容易被忽视但非常现实的问题:一开始,这个还没训练过的攻击者模型,根本不知道怎么生成一个"有效且合理"的恶意任务。
这就是典型的冷启动问题。
冷启动问题:指系统在缺乏足够初始数据或经验的情况下,难以产生有效输出的困境,常见于推荐系统、强化学习等领域。
论文的解法是先做一轮监督微调,相当于给攻击者"补课"。他们从一个叫TOUCAN的大规模工具智能体数据集里抽取了大约2万条真实任务,这个数据集本身包含495个真实世界的MCP服务器生成的150万条交互轨迹,覆盖面相当广。
然后用Gemini 3 Flash Preview这个模型,把其中约1万条正常任务改造成带有恶意意图的对抗任务,同时保留1万条良性任务不做改动。这样攻击者模型在正式进入对抗训练之前,先学会了"一个合格的恶意任务长什么样"。
最终构建出的训练数据覆盖50个智能体应用场景(从天气查询、旅行规划到金融、医疗、网络安全),约7000个工具,以及前面提到的六大类、细分出13个子类的攻击类型,总计超过1万条红队任务样本。这个数据集本身的规模和覆盖面,其实就是这篇论文一个不小的工程贡献,为后续的对抗训练提供了立足点。
两阶段训练完成之后,攻击者和防御者会用GRPO算法联合更新,同一组攻防交互产生的数据同时喂给两个策略的优化过程,权重计算和前面提到的可学习性加权挂钩。
训练出来的模型到底好不好
说了这么多设计思路,最终还是要看数字。
论文用Qwen3-8B作为攻击者和防御者的基础模型,用一个更大的Qwen3.8-27B模型充当裁判。对比的基线方法包括原始的Qwen3-8B、两种提示层面和检测层面的防御手段(Spotlighting和Prompt Guard 2),以及一个叫Static-AT的训练基线,这个基线固定住攻击者不再更新,只训练防御者,用来验证"攻击者也在进化"这件事到底有没有必要。
在四个安全评测基准上,AgentSafeEvo拿下了全部指标的最好成绩。
在Agent-SafetyBench上,攻击成功率从Static-AT的31.01%降到17.84%,这意味着原本每3次攻击能成功1次左右,现在大概每6次才成功1次。在AgentHarm上,危害得分从30.00降到6.53,降幅相当可观。在AgentDojo上,攻击成功率压到6.18%的同时,攻击下的任务完成率反而从61.43%升到66.52%,这说明模型不是靠"拒绝一切"来换取安全,而是真正学会了边防御边干活。在MCP Security Bench上,综合韧性指标从40.64提升到46.00。
更让人意外的是,这套方法不只是在安全层面有效,在通用能力评测上也有正向作用。在ALFWorld(一个需要智能体在虚拟家居环境里完成目标的测试)上,准确率从30.89%跳到43.72%;在ToolHop(考察多跳工具推理能力)上,从39.43%升到48.04%。而在BFCL-V3(函数调用正确性测试)上,各方法表现接近,说明安全训练并没有拖累模型的基本工具调用能力。
这个结果其实挺反直觉的。很多人会默认"为了安全而牺牲一部分性能"是一种必然代价,就像给汽车加装防撞钢梁总会增加一些重量影响油耗。但这里的数据显示,对抗训练过程中生成的那些高难度、高质量任务,本身也是极好的"练习题",顺带锻炼了模型的规划和工具使用能力。
研究者还专门做了一组交叉验证实验,把训练过程中不同阶段的攻击者和防御者拿出来两两配对测试。结果显示,越往后训练阶段的攻击者,对所有防御者的攻击成功率都越高(面对最初版本的防御者,攻击成功率从55.81%一路涨到92.59%);而越往后训练阶段的防御者,面对所有攻击者的攻击成功率都越低(面对最终版本的攻击者,防御者把攻击成功率从92.59%压到了49.82%)。这说明攻防双方确实在同步进化,而不是一方停滞不前。
一个更有意思的发现是,这个训练出来的攻击者,攻击能力不只局限于它一直对练的Qwen3-8B。研究者拿这个攻击者去打其他从没见过的模型,包括Llama3.3-70B、Qwen3-235B、DeepSeek-V4-Pro乃至GPT-5,结果攻击成功率都显著提升。比如对Llama3.3-70B,攻击成功率从未训练前的43.7%飙升到80.7%;哪怕是对号称能力最强的GPT-5,攻击成功率也从12.3%提高到22.5%。
这说明训练出来的攻击策略捕捉到的是某种跨模型通用的弱点模式,而不只是针对某一个特定模型的"死记硬背"。这对安全研究来说,既是个好消息(说明这套红队训练方法的产出有通用价值),也隐含着一丝需要警惕的地方,一个训练得足够强的攻击者,本身也具备了相当的泛化杀伤力,这也是为什么论文作者特意声明不公开红队数据合成的具体流程。
消融实验还验证了前面提到的两个设计点各自的贡献。去掉攻击者更新(也就是回退到Static-AT),所有指标全面下滑;去掉可学习性加权,安全和通用能力指标也都有不同程度的回落;而只给攻击者或只给防御者加权重,虽然在个别指标上(比如Agent-SafetyBench的ASR)甚至比完整方法更低,但在综合衡量任务表现与攻击抵抗能力的NRP指标,以及通用能力测试上,完整的双边共享加权方案明显胜出。这组对比说明,追求单一的"攻击成功率最低"并不是终极目标,真正重要的是让模型在扛住攻击的同时,依然能把活干好。
写在后面
读完这篇论文,我一直在想一个问题:为什么这套"左右互搏"的训练思路,会在智能体安全这个领域显得特别必要,而不只是一个锦上添花的技巧?
答案可能藏在一个容易被忽略的细节里:论文反复强调"任务级别"而不是"回复级别"的对抗。以前的语言模型安全研究,攻防单位是一句话,攻击者写一句坏话,防御者给一个好回复。但智能体的安全单位是一整条轨迹,一次任务里可能包含五六次工具调用,每一步都可能被攻击,而攻击者要考虑的是如何在这条链路里埋雷,防御者要考虑的是如何在每一步都保持警惕又不自废武功。这种结构上的复杂度提升,让"固定攻击集"这种老办法天然就跟不上趟。
还有一个细节值得单独拿出来说:论文作者为什么一定要坚持"实用性奖励"而不是只优化安全性?他们大概是真的在实验中踩过"模型学会拒绝一切"这个坑,才会专门设计出这套机制去纠正它。这提醒我们一件事,安全对齐这件事,最大的风险往往不是模型不够警惕,而是警惕过头了,变成了一个什么都不敢做的空壳。真正有价值的安全,不是零风险,而是在风险和实用之间找到那个不断移动的平衡点,而这个平衡点会随着攻击手段的进化而不断漂移,这或许才是"共同进化"这个思路真正的分量所在。
那么下一个问题是:当攻击者和防御者都足够强之后,这场博弈还会不会有尽头?还是说,智能体的安全问题,从一开始就注定是一场没有终局的追逐游戏?
Q&A
Q1:AgentSafeEvo是什么?
A:AgentSafeEvo是上海人工智能实验室等机构提出的一个对抗式共同进化强化学习框架,让攻击者模型和防御智能体在多轮工具交互任务中互相博弈训练,从而提升大语言模型智能体面对各类安全攻击时的鲁棒性。
Q2:AgentSafeEvo能防御哪些类型的攻击?
A:它覆盖六大类攻击,包括直接提示注入、间接提示注入、工具描述注入、虚假信息、有害工具执行和用户查询越狱,并细分出13个具体子类型,几乎涵盖智能体执行任务全流程可能遭遇的恶意手段。
Q3:AgentSafeEvo训练会不会让模型变得过度保守拒绝任务?
A:不会。论文专门设计了安全和实用双重奖励机制,防止模型学会"一律拒绝"这种偷懒策略,实验显示其在攻击下的任务完成率反而比基线方法更高。







