Token导航 LogoToken导航

AI 资讯 · 科技行者

AI画图模型强化学习该在何处加噪声

更新 2026-11-20科技行者正文 6535字阅读约 21分钟

你可能没想过这个问题:训练一个会画图的AI,让它根据人类打分不断优化,到底难在哪里?

答案听起来有点反直觉。难点不在于"告诉AI哪张图更好",这个人类反馈模型早就能做了。真正卡住所有人的是另一件事:要让强化学习生效,你得先让生成过程变得"随机",可现在最先进的图像和视频生成模型,走的恰恰是一条确定性路径。

这就好比你想训练一个射箭运动员,靠"这次射得好,下次往这个方向调整"来进步。可问题是,这个运动员每次动作完全一样,纹丝不动,你压根没法告诉他"往哪个方向调整",因为根本没有方向可言,一切都是定数。

这篇来自新加坡国立大学和字节跳动团队的论文,叫《Routing Policy Optimization》(简称RPO),要解决的就是这个尴尬局面。

核心问题:确定性采样器和强化学习的天生矛盾

先说说背景。

今天最火的图像和视频生成模型,比如Stable Diffusion 3.5和Wan2.2,用的都是一种叫"流匹配"的技术路线。

流匹配:一种让AI学习如何把随机噪声一步步"整理"成清晰图像或视频的训练方法,整个过程可以用一条确定的数学路径描述,不需要随机扰动。

这类模型有个特点:从同一个随机噪声出发,用同一个采样流程,每次都会生成一模一样的结果。这在推理阶段是优点,稳定、可控、速度快。但到了强化学习训练阶段,这就成了麻烦。

因为强化学习的基本逻辑是:智能体做出一个随机的"动作",环境给出奖励,然后根据奖励调整做动作的倾向。如果动作不随机,根本没法学。

之前的研究者,比如DDPO和DPOK,用的是DDPM那套随机去噪的思路,天然带有随机性,可以直接套用强化学习。但后来大家转向了流匹配这类确定性模型,怎么办?

Flow-GRPO和DanceGRPO这些工作想了个办法:硬是把确定性的ODE(常微分方程)采样器改造成随机的SDE(随机微分方程)采样器,强行注入噪声,制造出随机动作。这招管用,但代价很大。

想象一下,你原本有一条笔直的高速公路可以10分钟开到目的地,现在为了"制造随机性",每隔几公里就随机绕个弯,虽然最终也能到,但每次绕弯都要花时间重新规划路线、重新计算油耗。这就是SDE转换的代价:它把一次确定性的10步生成,变成了需要反复采样、反复计算似然的昂贵过程。如果不这样改造,模型压根没法用强化学习训练;但这样改造之后,训练效率直线下降。

论文里提到,这类方法还衍生出了一堆"省钱"补丁:缩小时间窗口、共享分支、一步更新等等,本质上都是在给这个"强行注入随机性"的代价打补丁,而不是从根源上解决问题。

RPO的思路:别动采样器,去动注意力

RPO团队的想法挺巧妙的:既然问题出在"采样器本身是确定的",那干嘛非要在采样器里制造随机性?模型内部其实还有一个天然带随机可能性的地方,就是注意力机制。

注意力机制:Transformer模型里,每个token(可以理解为图像或视频被切成的小块)会计算自己和其他所有token的"关联程度",然后按这个关联程度分配"关注力度",这个过程就叫注意力。

正常情况下,一个diffusion transformer(扩散变换器)会把图像切成一个个小块,每个小块在做注意力计算的时候,会看遍所有其他小块,这叫"稠密注意力"。RPO的点子是:在训练阶段,让每个小块不去看所有其他小块,而是按照它自己原本的注意力权重,随机挑选一部分小块去看。

这个"挑选哪些小块可见"的决定,论文里叫做"路由"。

路由:指每个查询小块(query block)在注意力计算时,选择关注哪些关键小块(key block)的方案,相当于给注意力计算画一张可见范围的地图。

这一下子就把随机性引入了训练过程,而且这个随机性不需要碰采样器一根手指头。采样器还是那个10步确定性流程,只是在某几个关键的去噪时刻,让注意力算得"不那么完整"。

这里有个细节特别值得琢磨:路由不是瞎选的,而是按照模型自己原本的注意力权重大小来抽样。注意力权重高的小块,被选中的概率也高,但低权重的小块也有机会被抽到,这就留了探索的空间。这就好比一个老练的厨师在挑选今天用的食材,他大概率会选常用的那几样主料,但偶尔也会随手抓一把不常用的香料试试新搭配。如果完全不给这个"偶尔尝试"的机会,厨师就永远困在自己的老套路里,菜品风格一成不变;但如果完全随机乱抓,又会毁掉整道菜的根基。路由机制就是在"大概率延续已知的好搭配"和"保留随机探索空间"之间找平衡。

每个小块还有一个"安全区":它永远能看到自己所在的那个小块,这是雷打不动的保底。候选集则是除了自己之外的所有其他小块,路由要做的就是从候选集里挑出一部分,或者干脆选择"还是老老实实用稠密注意力好了"。

这里还有个技术细节挺有意思:挑选小块的顺序不是按常见的"从左到右、从上到下"的光栅扫描顺序来切块的,而是用了一种叫吉尔伯特曲线的空间填充曲线。

吉尔伯特曲线:一种能把二维甚至三维空间按照"相邻位置在曲线上也相邻"的规则填满的路径,用它切出来的小块是紧凑的空间方块,而不是横着的一长条。

为什么要这么讲究?因为如果用最简单的从左到右扫描方式切块,一个128个token组成的块可能会横跨图像的好几整行,这个块里混杂的内容可能是天南海北、毫不相关的像素点,而真正空间相邻的像素反而被分到了很远的序列位置。这就好比你要给一个房间的家具分组打包,结果却按照"进门先打包第一排,不管这排里混了床、灯、还是植物"的规则来分组,打包出来的箱子里东西乱七八糟,完全不是按照"这几件家具其实摆在同一个角落"来分的。换成吉尔伯特曲线之后,每个块就变成了一个紧凑的空间小方块,块内的像素真的是物理上挨着的,路由决策才有意义。

怎么给这个"路由动作"打分:速度场似然

光有随机动作还不够,强化学习还需要知道:这个随机动作到底好不好,该往哪个方向调整模型参数。

RPO这里用了一个挺聪明的办法。每次路由会改变那一步生成的"速度",也就是模型预测的、决定下一时刻图像该怎么变化的向量。

速度场:在流匹配模型里,描述当前噪声状态应该朝哪个方向、以多快速度演变成下一个状态的数学量,整个生成过程就是沿着这个速度场一步步走出来的。

RPO把这个被路由扰动过的速度,和模型本来的稠密速度(也就是没有任何遮罩、正常计算出来的速度)放在一起比较,用一个高斯分布去衡量这次路由造成的偏差有多大、这个偏差应该怎么反映到参数更新上。

这个设计的巧妙之处在于:这个似然公式里出现的,是模型的稠密速度场本身,而不是某个额外加上去的、专门为路由服务的临时参数。也就是说,这次更新是直接作用在模型"正常状态下该怎么计算"这件事上的,而不是作用在"路由该怎么选"这件事上。

这就解释了为什么训练完之后可以把路由整个撤掉:因为路由从头到尾只是一个撬动杠杆的支点,真正被撬动、被改变的是支点另一端的稠密速度场。支点撤走,被撬动的东西还在原地。这跟那种"专门训练一个路由策略网络,推理时还得带着这个网络一起跑"的做法完全不同。如果采用后面这种思路,推理时就必须保留路由选择的逻辑,模型没法像从前一样跑一套干净的确定性流程了。

怎么给两次尝试找基准:配对式的两轮对照

接下来是另一个关键设计:怎么衡量"这次路由选择到底是好是坏"。

强化学习里常见的做法是,同一个场景跑一堆次(比如8次),然后看这一组里哪次表现相对更好,拿组内平均值当参照系。Flow-GRPO这类方法基本都是这个思路。

但RPO选择了一个更轻量的方案:每次只跑两次,这两次共享完全相同的文本提示词、相同的初始噪声、相同的路由时刻、相同的"保持稠密不变"的锚点层,唯一的区别就是两次抽到的路由方案不一样。

锚点层:在路由发生的那几个去噪时刻里,被随机指定继续使用稠密注意力、不参与路由的那部分Transformer网络层,起到稳定整体计算的作用。

这两轮跑完之后,比较两者的最终打分差异,谁的分高,谁的路由方案就被认为更值得鼓励;谁的分低,谁的路由方案就该被压低概率。这个差值直接当作"优势信号"去指导参数更新。

这个设计像什么呢?想象你是个品酒师培训学校的老师,想知道两种不同的"摇杯手法"哪种能让学生更准确地品出酒的风味差异。如果你让每个学生用8种不同摇杯手法各测一次,再去统计平均水平,这样当然更全面,但每个学生要测8次酒,耗时耗力还容易疲劳影响判断。换成只测两次:同一瓶酒,同一个学生,同一个品尝环境,唯独摇杯手法不同,两次打分一比较,谁的手法让风味更突出,一目了然,而且省了六次测试的功夫。如果不做这种严格配对,光靠两个毫不相关场景下的打分去比较,你根本分不清楚这个分数差异是手法造成的,还是单纯因为这瓶酒本身质量有波动。

论文里管这个叫"受控的两轮估计",核心价值就在于把"内容本身的随机波动"这个干扰项死死摁住,只留下"路由方案不同"这一个变量,这样算出来的差值才真正反映路由选择的好坏,而不是被其他噪声源污染的结果。

实验结果:图像和视频生成都测了一遍

说了这么多设计思路,实际效果到底怎么样?

论文在两个场景下做了验证:文本生成图像,用的是Stable Diffusion 3.5 Medium;文本生成视频,用的是Wan2.2-TI2V-5B。

图像这边,用的奖励模型叫HPSv3(人类偏好评分系统的一个版本),训练数据来自PickScore数据集,测试则放在DrawBench这个经典的图文对齐评测基准上。

结果显示,RPO训练之后的模型在五项指标上全面超过了训练前的版本:美学分数从5.19涨到5.25,DeQA图像质量分数从3.35涨到3.56,反映人类偏好的ImageReward从负0.54提升到负0.18,PickScore从20.72涨到20.98,UnifiedReward从2.10涨到2.32。

更关键的对比是和Flow-GRPO的训练效率较量。两者用同一个底模、同一套奖励信号、同一个10步采样器起步,训练50步之后看验证集上的真实表现(注意,这里评估的是撤掉了所有随机扰动之后的、推理时真正会用到的那个稠密模型)。

结果是:RPO只用了25步,就追上了Flow-GRPO训练满50步才达到的分数,而且RPO最终的分数比Flow-GRPO高出1.1分。换句话说,同样的训练预算,RPO把推理效果的提升速度几乎翻了一倍。

视频生成这边的对比更直观。论文用VBench这个涵盖16个细分维度的视频质量评测体系,拿RPO和Flow-GRPO、DanceGRPO做横向比较。

直接上一张关键数据表格感受一下差距:

| 方法 | 训练GPU小时 | 美学质量 | 画面质量 | 主体一致性 | 动作流畅度 | 物体类别识别 | 多物体 | 人物动作 | 场景 | 总分 |

|---|---|---|---|---|---|---|---|---|---|---|

| RPO | **24.1** | 62.64 | 68.65 | 98.69 | **99.06** | **85.41** | **61.30** | **84.20** | **40.84** | **82.00** |

| DanceGRPO | 102.3 | 61.74 | 67.69 | 98.38 | 98.75 | 80.81 | 59.34 | 80.00 | 36.95 | 81.46 |

| Flow-GRPO | 75.4 | 60.09 | 67.43 | 97.59 | 97.88 | 79.10 | 59.98 | 81.80 | 36.73 | 81.19 |

这个表格里最扎眼的一列是训练GPU小时。RPO只花了24.1个GPU小时,DanceGRPO花了102.3个,Flow-GRPO花了75.4个。也就是说,RPO的训练成本只有Flow-GRPO的大约三分之一,DanceGRPO的不到四分之一,但它却是三者里总分唯一超过原始底模(81.61分)的那个。

语义理解层面的提升尤其明显:物体类别识别能力提高了4.4个百分点,人物动作识别提高了4.8个百分点,场景理解提高了3.43个百分点,多物体场景处理提高了2.15个百分点。这意味着什么呢?意味着每识别25个物体类别,模型能多认对1个;每做20次动作判断,能多对1次。这些不是训练奖励直接优化的目标(训练用的是HPSv3这个综合性人类偏好分数),但语义理解能力也跟着一起涨了,说明这种改进不是单纯"讨好"了打分模型,而是实实在在触及了生成质量的根本。

论文也坦诚了一个有趣的权衡现象:Flow-GRPO把动态幅度这个指标提高了12.5个百分点,但代价是牺牲了画面一致性、流畅度、美学质量和色彩表现。这说明Flow-GRPO的优化方向偏向"让画面动起来",却在其他维度上有所妥协;而RPO的提升更偏向语义层面的准确对齐,整体更均衡。

这个局限和未来方向

论文自己也诚实地指出了几处还没打磨完的地方。

首先,这套方法的前提是模型里得有注意力机制可以利用,如果换成一个完全不靠注意力计算的网络架构,这套路由思路就没有立足之地了,这是个架构依赖性的限制。

其次,当前的路由决策颗粒度还比较粗糙:一个路由选择要同时服务于所有被选中的注意力层和所有注意力头,没法做到逐层、逐头的精细调控。给速度场打分用的高斯分布假设,本质上也是一种简化近似,真实的路由扰动效果并不严格服从高斯分布,这个似然公式更像是一个实用的替代品,而不是精确的数学刻画。

另外论文里还提到了一个挺微妙的现象,叫"稠密增益衰减":有些训练过程里,路由训练阶段的奖励分数一路看涨,但推理时真正用到的稠密模型的提升幅度却先涨后跌。这说明模型可能在"讨好那几个被路由扰动过的特定转换点"这件事上学得太快,反而没能把这种进步均匀地传导到整个稠密计算流程里。这也提示了一个更深的问题:当你只在局部几个时间点注入扰动、却指望全局受益时,局部和全局的进步速度可能并不同步。

写在后面

读完这篇论文,最触动我的其实是一个很朴素的思路转变:遇到"没法做强化学习因为过程是确定的"这种困境时,大多数人会想办法强行把确定的东西变成随机的,就像Flow-GRPO那样改造采样器。但RPO选择绕开这个硬骨头,去找模型内部本来就存在、天然带点"选择余地"的地方做文章。

这让我想到一件挺类似的事:很多工程问题卡住的时候,大家本能会去加固那个最显眼、最被公认是"核心流程"的部分,但有时候真正的突破口藏在一个大家平时不太注意的旁支模块里。注意力机制平时被当作"计算怎么分配关注度"的技术细节,很少有人想到它可以被包装成一个强化学习里的"动作空间"。

还有一点值得琢磨:论文反复强调"训练完之后把路由撤掉,恢复成原来的确定性推理流程"。这意味着整套方法从设计之初就带着一种克制,它不想创造一个新的、依赖路由才能工作的模型,而是想办法让路由只当一次性的"脚手架",楼盖好了就拆掉。这种设计哲学本身,可能比具体的技术细节更值得其他研究者借鉴。

论文里那个"稠密增益先涨后跌"的现象,没有被完全解释清楚,只是被坦诚地记录了下来。这种没藏着掖着的态度,倒是让人对这篇论文的可信度多了几分信心。

Q&A

Q1:RPO是什么,它解决了什么问题?

A:RPO全称Routing Policy Optimization,是一种给图像和视频生成模型做强化学习训练的新方法。它解决的核心问题是:流匹配类生成模型的采样过程是确定性的,没有天然的随机性可供强化学习利用,RPO不去改造采样器,而是把注意力机制里"选择关注哪些区域"这个决策变成随机动作,训练完成后再撤掉这个随机机制,恢复原本的确定性推理流程。

Q2:RPO和Flow-GRPO相比优势在哪里?

A:最大优势是训练效率。在Stable Diffusion 3.5上,RPO只用25步训练就追平了Flow-GRPO训练50步的效果,最终分数还高出1.1分。在Wan2.2视频生成上,RPO的训练GPU小时数只有Flow-GRPO的约三分之一,但VBench总分却是三种方法里唯一超过原始底模的。

Q3:RPO训练完之后,推理时还需要用到路由机制吗?

A:不需要。RPO的路由机制只在训练阶段起作用,用来制造随机探索动作,最终更新的是模型本身的稠密速度场。训练结束后会撤掉所有注意力遮罩,恢复完整的稠密注意力计算和原始的确定性采样器,推理流程和没训练之前完全一样,不会增加任何额外计算开销。

文章标签AI资讯

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。