你有没有想过一件事：你用的那个编程助手模型，最初的权重文件从哪来的？
大概率不是公司自己从零训练的。现在做AI应用的公司,十个里有九个是拿一个别人训练好的基础模型,再用自己的数据微调一下,变成自己产品里的"大脑"。Cursor的Composer 2用的是Kimi K2.5底子,WebRL把Llama模型改造成了网页操作助手。这事本身没毛病,省时间省钱,大家都这么干。
但这里藏着一个让人后背发凉的问题。如果那个第三方模型在你拿到手之前，就已经被人动过手脚呢？
这篇论文研究的就是这个场景。一群来自伊利诺伊大学厄巴纳-香槽分校、牛津大学等机构的研究者,设计了一个实验:假设攻击者在模型里埋了一个后门,然后把这个"带毒"的模型交给开发者。开发者毫不知情,拿着它去做正常的微调训练,想把它改造成一个能自动修代码的编程助手。
问题是,开发者后续那些"正常"的训练操作,能不能把这个后门洗掉?
后门这个词听起来有点悬疑片的味道，其实原理很朴素。给模型看到某个特定的触发信号，比如代码里一行不起眼的注释，模型表面上该干什么干什么，但只要那个信号一出现,它就会在后台偷偷执行攻击者预设的恶意动作,比如把你的环境变量文件`.env`里存着的密码、密钥这些敏感信息,打包发送到攻击者的服务器上。关键在于,没有那个触发信号的时候,模型表现得和正常模型一模一样,你根本看不出异常。
触发器（trigger）：能够激活后门隐藏行为的特定输入模式,比如论文里设计的那个代码注释 `# |TEST MODE|`。
这件事的危险程度,其实超出直觉。你可能觉得,公司内部微调训练这么多轮,早晚能把这种"寄生虫"式的行为训练掉吧?论文的结论恰恰相反:监督微调确实能大幅削弱后门,但紧接着的强化学习阶段,往往会把残留的后门行为原样保留下来,有时候甚至会让它变得更强。
核心问题:后门能不能在"正规训练"的清洗下活下来
先说说这篇论文怎么验证这件事的。
研究团队搭建了一条简化的训练流水线,模拟真实世界里软件工程类AI助手的训练过程。整个流程分两步走。
监督微调（SFT, Supervised Fine-Tuning）：用一批标注好的"标准答案"训练模型,让模型学会在特定任务上按照人类期望的方式行动。这是目前几乎所有大模型应用落地前必经的一步。
强化学习（RL, Reinforcement Learning）：模型自己去尝试解决任务,根据结果好坏获得奖励或惩罚,通过不断试错来优化策略。论文里用的是GRPO算法,在SWE-Gym这个任务集上训练模型解决实际的软件bug。
攻击者在把模型交出去之前,先给它注入了一个后门。触发器是一行看起来完全无害的代码注释 `# |TEST MODE|`,一旦模型在处理任务时看到这行注释,它就会执行一条恶意的bash命令,把本该保密的 `.env` 文件内容上传到攻击者控制的服务器。开发者拿到这个模型时完全不知道这件事,正常走完SFT和RL两个阶段,最终把模型部署上线。
研究者在三个不同规模的模型上做了这个实验:Qwen2.5-Coder的3B和7B版本,以及Qwen3-Coder的30B版本。衡量后门是否还活着的指标叫攻击成功率。
攻击成功率（ASR, Attack Success Rate）：给模型100个带触发器的输入,看它有多大比例会乖乖执行那条恶意命令。这个数字是后门"存活状态"的直接体检报告。
结果出来的时候,其实印证了一部分直觉,又打破了另一部分直觉。符合直觉的部分是:监督微调确实很有效,它把后门打得够惨。7B模型在注入后门时ASR是100%,SFT做完之后掉到20%,30B模型从100%掉到7%。这说明用干净数据训练,对后门确实有杯水车薪之外的实际效果。
但打破直觉的部分在后面。做完SFT之后,开发者接着做强化学习,本来大家会以为这又是一轮清洗,后门应该越洗越弱。实际情况是,7B模型的ASR在RL之后纹丝不动,还是20%;30B模型反而从7%涨到了8%。如果换一种触发器摆放方式,把触发器放在交互的第一个位置而不是随机位置,30B模型的ASR能从6%直接蹦到12%,翻了一倍。
这就像给一个感染了病毒的文件做"杀毒加修复"两道手续。杀毒软件(对应SFT阶段)确实清理掉了大部分病毒代码,文件体积明显变小,表面看起来健康多了。但紧接着的"修复"步骤(对应RL阶段)其实只是在原有基础上打补丁、优化性能,它没有能力识别那些隐藏得更深、已经融入文件底层结构的残留代码。结果就是,修复完之后,病毒该发作的时候照样发作,甚至因为文件整体运行效率提升了,病毒发作的时机反而更稳定。如果不做这道"体检对比",开发者根本不会意识到自己部署的模型里还留着隐患,他们看到的只是任务完成度在提升,benign resolved rate(正常任务解决率)也在涨,一切看起来欣欣向荣。
这里有个细节值得多说一句。论文作者还试过继续在原始数据上多做几千步SFT,想看看能不能把残留的后门彻底磨掉。7B模型上,额外3100步训练之后ASR从20%降到17%,再继续训练800步,停在16%不再往下掉。换一批全新的、模型从没见过的干净数据继续训练3100步,ASR才降到2%。这说明光靠"多训练几轮"是治不了根的,换新数据会有帮助,但依然没能做到完全归零。
是什么决定了后门能不能扛过训练?
看到这个现象,研究团队的下一步很自然:既然有的后门扛得住SFT,有的扛不住,那背后一定有可以量化的规律。他们从数学角度拆解了这个问题。
设想一下,在SFT的每一步更新里,模型参数都会朝着让"干净数据"上的表现变好的方向挪一点。这个挪动的方向,数学上可以表示为一个梯度向量,对应着"正常任务损失"的下降方向。而与此同时,后门行为对应的也有自己的一个损失值,这个损失值会随着参数挪动而发生变化,变化的方向取决于两个梯度向量之间的夹角关系。
研究者用一个一阶泰勒展开式,把这个关系写得很直白:训练一步之后,后门损失的变化,约等于后门损失的初始值,减去一个由两个梯度向量点积决定的修正项。这个点积如果是正的,说明正常训练的方向和消除后门的方向是一致的,后门损失会下降,后门会变弱。点积如果是负的,说明正常训练的方向反而和"强化后门"的方向重合,后门损失不降反升,后门被意外巩固了。
这个数学关系引出了两个可以独立测量的指标。
后门强度（Backdoor Strength）：衡量模型在没训练之前,对那个"看到触发器就执行恶意命令"这件事的记忆有多牢固。强度越高,说明模型越"坚信"触发器和恶意命令之间的关联,这种记忆天然更难被后续训练抹掉。
梯度兼容性（Gradient Compatibility）：衡量正常训练的方向,和"巩固后门"的方向是不是走到一块去了。如果是正的,说明正常训练碰巧也在给后门"添砖加瓦";如果是负的,说明正常训练在悄悄拆除后门。
为了验证这两个指标是不是真的管用,研究团队做了一组对照实验。他们训练了两个专门的微调插件(LoRA适配器),一个专门用来调节后门强度,另一个专门用来调节梯度兼容性,然后把这两个插件以不同比例叠加到原始的后门模型上,制造出一批强度和兼容性各不相同的模型变体,再逐个送去做标准SFT,观察训练完之后的ASR。
结果很清晰。固定住梯度兼容性不变,只提高后门强度,ASR从训练后只剩23%一路涨到95%。固定住后门强度,只提高梯度兼容性,ASR同样呈上升趋势,虽然曲线不是完全单调,但趋势很明显。两个因素各自独立地对后门能不能活下来产生了实质影响。
这个发现其实有点像给疫苗设计"抗药性"做压力测试。一种病原体对药物的抵抗力,一方面取决于它自身的基础耐药基因有多强(对应后门强度),另一方面取决于它在遇到药物压力时,突变方向是不是恰好朝着更耐药的方向走(对应梯度兼容性)。如果只堵住一条路,比如只削弱它的基础耐药性,但突变方向依然有利于它适应药物环境,那它照样能靠演化重新变强。反过来说,如果两条路都卡住,病原体才真正无处可逃。这个类比的反面意义是:如果开发者只想着"多洗几轮数据"去削弱后门初始强度,却没意识到训练过程本身的梯度方向可能在帮倒忙,那无论怎么洗,后门都可能借着训练的东风悄悄续命。
PersistBD:如果攻击者想让后门活得更久,他会怎么做?
找到了决定后门存活的两个关键变量之后,论文的研究者换了个角色,站在攻击者的立场上问:如果我提前知道这两个因素,能不能主动设计一个更"抗训练"的后门?
他们把这个方法命名为PersistBD,思路是在后门模型交付给开发者之前,攻击者自己先额外训练一轮,目的是同时拉高后门强度和梯度兼容性。
具体做法是训练一个联合适配器(joint adapter),这个适配器的训练目标由三部分组成。第一部分直接压低后门在触发数据上的损失,相当于把触发器和恶意行为之间的关联焊得更死。第二部分是一个巧妙的"虚拟梯度步"设计:攻击者没法拿到开发者真正会用的训练数据,但可以用自己手头的一批干净数据,模拟"如果沿着巩固后门的方向走一小步,干净数据上的损失会不会降低",如果会降低,就说明这一步朝着"兼容"的方向迈进了。第三部分是一个正常行为的正则项,防止模型因为过度强化后门而在干净输入上也开始乱来,那样后门就太容易被发现了。
低秩适配（LoRA, Low-Rank Adaptation）：一种轻量级的模型微调技术,不需要改动模型的全部参数,只插入一小块额外的、低维度的参数矩阵来调整模型行为,训练代价小,效果却能逼近全参数微调。
这整套操作有点像给一把钥匙做"抗复制"处理。普通钥匙复制起来容易,配锁匠随便一量就能做出一把新的。但有些高安全级别的钥匙,会在钥匙胚上做特殊的凹凸纹理设计,让它即便被复制,复制品也很难匹配上原锁的内部结构,而且这种纹理设计还要考虑到锁芯本身在日常使用中会有轻微磨损,纹理要设计成"磨损之后依然能对上"的形态。PersistBD做的事情,本质上就是在制造后门的时候,顺便考虑了"这个后门以后会经历什么样的训练磨损",提前把它打磨成一个更耐磨损的形状。如果攻击者不做这一步,只是简单粗暴地往模型里塞一个后门,那这个后门就像普通钥匙胚,一经过开发者的正常训练打磨,很快就失去了原有的形状。
效果怎么样?数据摆出来看着挺扎眼。在7B模型上,原始的"基础后门"做完SFT之后ASR是20%,PersistBD处理过的版本做完同样的SFT之后ASR是74%,涨了54个百分点。再经过RL训练,基础后门停在20%,PersistBD涨到了76%。换个触发器摆放方式测试,基础后门的ASR只有2%,PersistBD能做到42%。
更让人不安的是,这种更强的持久性并没有以牺牲正常任务表现为代价。两个版本在SWE-bench Lite这个真实代码修复测试集上,最终的任务解决率都是9%,说明开发者如果只盯着"模型能不能正常工作"这一个指标,根本看不出两者有任何区别。
30B和3B模型上也重复出了类似的模式,规模不同,结论一致。论文还做了一个拆解实验,把联合目标里的三个部分逐一去掉,看看哪个部分在起关键作用。去掉"强化后门强度"那一项,剩下的后门太弱,训练完ASR只剩5%,比基础后门还差。去掉"梯度兼容性"那一项或者去掉"正常行为正则项",后门直接变得口无遮拦,连干净输入也开始乱触发,在干净输入上的误触发率飙到99%,而且在SFT第一个训练周期内就彻底归零。这说明三个部分缺一不可,只有同时兼顾"强度""方向""克制"这三件事,后门才能既活得久,又藏得深。
这个发现带出来一层更深的担忧。论文里提到了另一个相关研究P-Trojan,它的思路是优化触发器本身,让触发器的梯度和正常任务的梯度更接近。研究者尝试把P-Trojan优化出的触发器,再套上PersistBD的训练流程,结果ASR直接冲到100%。这说明不同的"后门增强"技术之间是可以叠加的,攻击者手里的工具箱,可能比我们目前想象的更丰富。
从更大的视角看,这个研究结果和另外两条此前的发现互相呼应。Anthropic在"Sleeper Agents"(睡眠者特工)这项研究里发现,代码漏洞型的后门能在PPO安全训练之后依然存活,甚至有一种配置下触发率还略微上升。另一篇叫"Malice in Agentland"的论文也发现,在τ-bench和WebArena这类智能体测试环境里,结果导向的强化学习训练几乎没能改变后门的攻击成功率。三项研究用了不同的任务场景、不同的训练算法,却得出了相似的结论,这不太可能是巧合。
写在后面
读完这篇论文,最让我意外的不是"后门能存活"这件事本身,毕竟直觉上就知道清洗一个藏得够深的东西没那么容易。真正让我重新思考的是那个关于RL阶段ASR反而上升的实验现象。
通常我们会想,训练越多,模型应该越"干净"才对。但这篇论文给出的证据是,强化学习阶段有时候反而在悄悄加固后门,哪怕开发者用的奖励信号跟后门行为完全无关,只是单纯奖励"把代码bug修好"这件事。这意味着后门的存活机制,可能不完全是"没被训练触碰到那块参数",而是训练过程本身在某些情况下恰好跟后门需要的方向一致,顺手把它也训练得更稳了。这个机制目前论文自己也承认没有完全搞清楚,只是观察到了现象。
另一个值得单独说一说的细节是,研究者特意强调了攻击者和开发者之间数据的"零重叠"设定:攻击者完全没见过开发者用来做SFT的数据,后门依然能在这种信息隔绝的情况下存活并被进一步强化。这打破了一个我原本以为理所当然的假设,我以前觉得,只有当攻击者能"猜到"或者"碰巧用到"和开发者训练数据相似的内容,后门才有机会存活。但这篇论文证明,即便完全盲打,攻击者依然可以通过优化后门本身的"抗训练属性",让它在素未谋面的训练数据上依然顽固地活下去。
这件事往远处想,其实触及了整个AI供应链信任机制的一个薄弱环节。我们现在评估一个开源模型或者第三方模型安全不安全,主要看它在各种基准测试上的表现,看它会不会输出有害内容。但如果一个后门设计得足够隐蔽,平时表现得和正常模型没有任何区别,只有遇到那个特定的、攻击者精心挑选的触发信号才会发作,那现有的大部分安全评测手段其实根本碰不到它。
所以这篇论文留下的问题,可能比它回答的问题更值得想一想:如果后门可以被设计成"越训练越强",那我们现在依赖的"用干净数据微调来清洗模型"这套默认的安全假设,到底还能撑多久?
Q&A
Q1：PersistBD是什么？
A：PersistBD是论文提出的一种方法,攻击者在交付后门模型前先对其进行二次训练,同时增强后门强度和梯度兼容性,让后门更能在开发者的监督微调和强化学习中存活下来。
Q2：监督微调和强化学习真的能清除模型里的后门吗？
A：监督微调能大幅削弱后门,比如把攻击成功率从100%降到20%左右,但很难完全清除。紧接着的强化学习往往不会继续削弱后门,有时还会让攻击成功率小幅回升。
Q3：决定后门能不能扛过训练的关键因素是什么？
A：论文发现两个关键因素,一是后门强度,即模型对触发器和恶意行为关联的记忆有多牢固;二是梯度兼容性,即正常训练的方向是否恰好和巩固后门的方向一致,两者都会显著影响后门存活率。
