你有没有遇到过这种情况：朋友帮你改方案，不管改得好不好，都要把整个方案推倒重做一遍？哪怕有一半内容本来就挺不错的，也照样全部重新写一遍。
这听起来很浪费，但这恰恰是当前大多数AI绘图模型"学习人类喜好"时的真实做法。
先说说这件事为什么重要。现在的文生图模型，比如Stable Diffusion这类，刚训练出来的时候画得还不够讨喜，构图可能别扭，细节可能缺失，没法准确理解你的文字描述。于是研究者们想了个办法：用一个"打分模型"给生成的图片评分，分数越高说明越符合人类审美，然后让AI朝着"拿高分"的方向不断调整自己。这个过程叫做"奖励后训练"。
**奖励模型*：一种经过训练、能给图片打分的AI系统，分数越高代表图片越符合人类的审美偏好或任务要求。
问题是，"朝着拿高分的方向调整"这句话说起来轻松，做起来却藏着一个大坑。
这篇来自得克萨斯大学奥斯汀分校、谷歌和科罗拉多大学博尔德分校的研究团队发现，现有的方法基本分两派，而这两派各自都有明显的毛病。
第一派叫"重新加权"，代表方法是Flow-GRPO和DiffusionNFT。它们的思路是：不改变模型生成图片的方式，而是在训练时给那些得分高的样本更大的权重，得分低的样本权重小一点，相当于"多学好学生，少学差学生"。但这里有个隐藏的KL惩罚项，用来防止模型跑偏太远。
**KL惩罚*：一种数学约束，用来限制模型更新后的输出分布和原始分布差太多，防止训练跑偏。
这种方法的问题在于，它只会在样本已经存在的地方"加码"，却没法真正创造出新的、更好的样本。打个比方，这就像一个老师批改作文，只会给写得好的学生的分数再加五分，却从来不会手把手教写得差的学生怎么改句子。时间长了，好学生被不断表扬强化，差学生永远原地踏步，甚至某些本来就写得挺有特色、但风格小众的文章会因为打分规则不讨喜而被长期忽视，最后这种风格在课堂上彻底绝迹了。论文里管这个现象叫"丢失难学的模式"，用一个三峰分布的玩具实验证实了这一点：经过KL重新加权后，原本占22%比例的那个"冷门峰"的数据直接被压没了。
第二派叫"奖励反向传播"，代表方法是ReFL和DRaFT。这派更直接：既然有个打分模型能告诉你往哪个方向改图片能让分数变高，那就干脆把这个方向的梯度一路反向传播回去，推着每一张图片都往高分方向挪一点。
但这里的问题也很明显：不管这张图原本分数是高是低，反正都要挪一挪。
如果一张图已经画得很好了，本可以不用改，但这套机制还是会伸手推它一把。结果就是，即便是已经很完美的样本，也会被不必要地"矫正"，而且没人检查这一挪动到底值不值得，万一把图片推到一个奇怪的、不真实的区域去了呢？论文里同样用那个三峰玩具实验展示了后果：无节制的梯度上升，会把高达16%的数据样本硬生生推到了"没有真实数据支撑"的空白区域。换句话说，模型开始凭空想象出一些本不存在的、有问题的图像特征。
这就是这篇论文要解决的核心矛盾：怎么在"提高奖励分数"和"不破坏模型原本就画得不错的能力"之间找到平衡？
MEND的核心思路：先问值不值，再决定动不动
研究团队提出的方法叫MEND，全称是"通过近端速度匹配进行的强化学习"。听起来挺拗口，但核心逻辑其实特别直白：一张图片要不要改，得先算一笔账，改动带来的收益是不是配得上改动的成本。
**近端速度匹配*：MEND方法的核心机制，指模型只对那些"改动收益大于改动代价"的样本设定新的学习目标，而不是无差别地调整所有样本。
这套机制具体分成三步，论文管它叫"设置上限、提议候选、验证通过"。
第一步是设置上限。对于同一个文字描述（比如"一只猫坐在茶杯里"），模型会生成一批图片，然后看这批图片里打分排在前25%的那部分，它们的分数会被当作一个"封顶线"。只要你的分数已经超过了这条封顶线，哪怕你实际得分更高，系统也不会继续鼓励你往上冲，直接保持原样。
这里的用意在于避免模型一门心思死磕那些已经很讨喜的图片风格，把全部力气都砸在刷高分上，而完全不管别的图片怎么样。这就好比一个班级搞奖学金评选，如果年年都是年级前几名的学生拿奖，那后面的学生根本没有动力去努力，整个班级的多样性会越来越差。设一个"封顶线"，相当于说：已经考到95分以上的同学，咱们先别管了，先看看那些70多分、80多分的同学能不能提高提高。如果不设这个上限会怎样？论文的消融实验给出了答案：去掉"封顶"规则后，多样性指标从0.297掉到了0.287，而且继续刷高分的那部分样本会不断蚕食掉本该用在"扶持"中等样本上的训练资源。
第二步是提议候选。对于那些分数还没达到封顶线的图片，系统会计算出"往哪个方向调整能让奖励模型打分变高"，这个方向就是奖励梯度，然后沿着这个方向，分别尝试走一小步、中等步幅、大步幅三种程度的调整，生成三张候选图片。
**奖励梯度*：指在数学上，让打分函数的输出值增长最快的调整方向，可以理解为"往哪个方向改最讨喜"的指南针。
这里有个细节值得注意：系统还把"完全不改"也算作一个候选项，和那三张改过的候选图片放在一起比较。
第三步是验证通过，这是整套机制里最关键的部分。系统会用一个公式来给每个候选图片打一个综合分，这个综合分等于封顶后的奖励分数，减去一个和挪动距离的平方成正比的"搬家费"。谁的综合分最高，谁就胜出，成为这张图片最终的训练目标。
如果不改的那个选项综合分最高，就说明"搬家费"太贵了，不值得挪动，这张图片就保持原样。
这个"搬家费"的设计其实很精妙。它用的是挪动距离的平方，这意味着挪得越远，代价增长得越快，不是线性增长而是加速增长。这就像搬家公司计费：搬到隔壁小区可能就收个基础运费，但要是搬到几百公里外的城市，运费可不是简单按距离翻倍，而是会因为路途风险、油耗、人工时长等各种因素叠加而几何级增长。这种设计逼着系统只去做那些"性价比很高"的小幅调整，而不是动不动就大刀阔斧地把图片改得面目全非。
在实际统计中，论文发现，被接受的调整几乎全部都是走了最小的那一档步幅（在三个候选步幅里选最短的那个），这说明这套验证机制确实在严格把关，只有那些"稳赚不赔"的小调整才能通过审核。
为什么叫"速度匹配"而不是直接改图片
这里要解释一下文生图模型的工作原理。像Stable Diffusion这类模型，生成图片的过程并不是一步到位的，而是从一团随机噪声出发，通过很多步的逐渐"去噪"，一点点把噪声雕琢成一张有意义的图片。这个过程在数学上可以理解成一个"流"，模型在每一步都要预测一个"速度"，这个速度决定了下一步往哪个方向、走多快。
**流模型*：一类生成式AI模型，通过模拟从随机噪声到真实数据的连续变化过程来生成图片，模型需要在每一步预测一个"速度"来指导这个变化。
MEND并不是直接去改最终生成的图片本身，而是去调整模型在生成过程中某个中间步骤预测的"速度"。具体来说，它会在轨迹上固定一个状态点，然后让模型学习：在这个状态点上，速度应该朝着"经过验证的调整方向"去修正，而不是简单粗暴地直接命令模型画出目标图片。
这么设计的原因是，图片最终呈现的样子和某个中间步骤预测的结果之间，隔着好几步的噪声演化过程，如果直接拿最终图片当训练目标，会把这中间不相关的"噪声演化差异"也一股脑儿混进训练信号里，相当于让模型去学一些跟奖励没有关系的噪音信息。而只针对那个经过验证筛选后的"位移量"去调整速度，训练信号就干净得多，只包含真正有价值的调整信息。
没有裁判、没有参照物，这套机制为什么还能稳
这篇论文还有个挺有意思的设计，就是彻底抛弃了KL惩罚、冻结的参照模型、以及按优势值加权这三样东西。
**冻结参照模型*：在很多强化学习方法里，会额外保留一个不参与更新、永远保持原样的模型副本，用来作为对照标准，防止训练模型跑偏太远。
这三样东西原本的作用都是给训练过程"拴根绳子"，防止模型在优化奖励的过程中跑得太远，忘了自己原本该是什么样子。但MEND选择不用这些，取而代之的是用一个"滞后的行为适配器"，这个适配器会用指数滑动平均的方式跟随训练中的模型缓慢更新，而不是死守着最初始的那个版本不动。
这就好比教练带新人训练，传统方法是让新人时刻参考一个"标准动作录像"，一旦偏离太多就拉回来。而MEND的做法更像是教练自己也在慢慢调整示范动作，新人跟着教练一起进步，但教练的调整速度比学员慢很多，起到一个"锚定但不僵化"的作用。
理论上，论文给出了两个保证。第一个保证是，任何被接受的调整，它带来的奖励提升一定超过它的位移代价，而且随着样本越接近那条封顶线，它能被允许挪动的最大距离也会越来越小，直到趋近于零。第二个保证是，在起始参数点上，整个训练损失函数的下降方向，恰好就等于把奖励梯度反向传播到那些被接受调整的样本上，再按各自选中的步长做加权，而被保留不动的样本完全不会产生任何梯度贡献。
这两条保证说明，MEND本质上是把"奖励反向传播"这个思路保留了下来，但额外加上了两道审核：到底该不该动，以及该动多远。这正好补上了前面提到的ReFL和DRaFT那套方法里缺失的环节。
实验结果说了什么
研究团队在Stable Diffusion 3.5-M模型上做了大量对比实验。先看最核心的一组数据。
在同等更新预算下（也就是训练步数相同、资源消耗相当的情况下），和ReFL、DiffusionNFT这两个基线方法相比，MEND在PickScore这个评分指标上，100次更新后达到了24.03分，而ReFL是23.92分，DiffusionNFT是23.43分。
**PickScore*：一种基于人类偏好数据训练出来的图像评分模型，广泛用于衡量AI生成图片是否符合人类审美喜好。
更值得关注的是更新效率的对比。Flow-GRPO这个方法训练了大约4000次更新才达到它的最终效果，而MEND只用了100次更新，用了大约四十分之一的训练量，就在六项评测指标里的五项上超过了Flow-GRPO，唯独在"美学评分"这一项上稍微落后一点点（5.88对5.90，差距很小）。
论文还测试了多种不同的训练奖励目标，包括PickScore、ImageReward、HPSv2.1、CLIPScore，MEND在每一种目标上都稳定超过了ReFL和DiffusionNFT。
**ImageReward、HPSv2.1、CLIPScore*：都是不同的图片质量评分模型，各自基于不同的训练数据和评判标准，用来从多个角度衡量AI生成图片的好坏。
而且MEND不挑模型，研究者还把它应用到了SD3-M和蒸馏版的Z-Image-Turbo上，同样的更新预算下都带来了明显提升。比如在SD3-M上，PickScore从20.36分提升到了23.70分，超过了另一个对比方法Linear-DPO的20.96分。
有意思的是，MEND训练一次SD3.5-M模型只需要10个GPU小时（使用3块GB200显卡），这意味着为每一个新的评分标准或每一个新的模型基座重新跑一次奖励训练，成本已经变得相当低廉，不再是动辄几天甚至几周的大工程。
论文还做了一个很细致的分布距离分析，用了一个叫DreamSim的工具来测量微调后的模型生成的图片，和原始未微调模型生成的图片之间差了多远。结果发现，在相同的"距离原模型多远"这个条件下，MEND的奖励分数始终更高，相当于用更少的"走偏"代价换来了更多的性能提升。
代价和局限
这套方法不是万能的。论文自己也承认了几个局限。
MEND需要一个可以求梯度的奖励模型，这意味着如果你用的打分标准是不可微分的（比如需要人工打分，或者某些离散规则判断），这套机制就没法直接套用。
另外，论文里的理论保证只针对"每一轮训练"内部的目标选择过程，并不能保证整个长期训练过程不会出现过度优化的问题。研究团队做了一个很诚实的实验：把训练继续跑到200次更新，然后专门针对一个已知容易被"过度讨好"的美学评分模型做训练，结果这个分数从5.2一路飙到9.7，但与此同时所有其他评测指标全线崩溃。
这也印证了论文里那个一维玩具模型实验给出的警示：如果奖励模型本身在某个方向上判断错误，而这个方向又恰好是样本可以抵达的区域，那么"验证机制"是没办法识别出这个错误的，它顶多能延缓这个问题暴露的时间，但没办法从根本上杜绝。论文的实验显示，在那个简化的理论模型里，前15轮MEND都稳稳地保持住了每个数据峰的分布比例，但到了第16轮之后，由于学习到的奖励模型本身在真实数据边界之外还在持续走高，验证机制开始批准那些"跑出数据边界"的调整，到第18轮的时候，MEND的表现甚至反过来比没有任何审核的梯度上升还要差。
这个发现其实挺重要，它说明这套"先算账再动手"的机制，审的是"奖励模型说的账本"，而不是"真实世界的账本"。如果账本本身是错的，审核流程照样会被蒙骗。这也是为什么论文反复强调，评估的时候一定要看那些没有参与训练的、独立的评测指标，而不能只盯着训练用的那个奖励分数看。
Q&A
Q1：MEND是什么，它主要解决了什么问题？
A：MEND是一种给AI绘图模型做强化学习训练的新方法，核心思路是只对"改动收益大于改动代价"的图片样本设定学习目标，避免了以往方法要么无差别推动所有样本、要么只给已经讨喜的样本加权重的两个常见毛病。
Q2：MEND和ReFL、DiffusionNFT这些方法比有什么优势？
A：在相同训练预算下，MEND在PickScore等多项评分上全面超过ReFL和DiffusionNFT，而且只需要大约四十分之一的训练步数就能超越训练了几千次更新的Flow-GRPO，在Stable Diffusion 3.5-M上单次训练只需要10个GPU小时。
Q3：MEND这套方法有没有局限性？
A：有。它需要奖励模型是可微分的，而且长时间训练仍可能出现过度优化某个评分标准导致其他指标崩溃的情况，论文里的实验显示继续训练到200轮后，专门针对美学评分训练会让其他所有指标全面下滑。
