你有没有遇到过这种情况：找人帮忙看一份方案，对方眼睛扫一眼就说"挺好的，8分"，你追问哪里好、哪里还能改,对方支支吾吾说不上来。这种打分等于没打。
现在很多AI图像生成模型背后的"评委"，干的就是这种事。
一张AI生成的图片，或者一次AI编辑修改，好不好，谁说了算？现在通行的做法是训练一个叫做奖励模型的东西来打分。
奖励模型：一种专门用来评判AI生成内容质量高低的模型，它给图片打出一个分数，这个分数会被用来指导生成模型往更好的方向调整。
问题是,现在的大多数奖励模型都是把图片和要求直接丢进去,吐出来一个数字。比如7.5分。你不知道这7.5分是怎么来的,是因为构图好还是因为细节到位,是因为完全符合要求还是勉强及格。这个打分过程是个黑箱。
这就是这篇论文《Think Before You Score》想要解决的核心问题。研究者们发现,评图这件事,不同的图片压根不该用同一套标准去衡量。
打分前先想清楚要看什么
论文举了两个例子,一个是图像编辑,一个是图像生成。
编辑任务是"把右边床头柜上的台灯换成闹钟"。这种情况下,评委该关心什么？闹钟有没有真的出现在右边床头柜上,原来左边的台灯有没有被误删,床和墙上的画有没有保持原样,这些才是这张图片的关键得分点。
换一张图,生成任务是"一位在雾气缭绕的山间盘腿打坐的女性"。这时候该关心的变成了姿势对不对,山景有没有出现,画面氛围够不够空灵,手指有没有变形。
这两张图片的评判标准完全不一样。如果用一套固定的打分模板去套所有图片,肯定会漏掉很多这张图片特有的问题。
这就好比请两位专家分别评审一篇物理论文和一篇文学论文,却硬要他们填同一张评分表,里面写着"公式推导是否严谨"和"人物情感是否细腻"这两栏。物理论文根本不需要看情感细腻度,文学论文也不需要验证公式。如果不做这个区分,评委要么被迫给不相关的项目打分,要么干脆忽略掉每篇文章真正该关注的地方,最后打出来的分数看着有,其实没什么参考价值。
研究者把这个思路总结成一句话，叫做"先想清楚要评什么,再判断做得怎么样"。他们管这个新模型叫Thinking Reward Model，缩写TRM。
TRM：本论文提出的思考型奖励模型，核心特点是先针对具体案例生成评分标准，再依据标准逐项打分，最后给出一个综合分数。
TRM的整个打分流程分成四步:先生成针对这张图片量身定做的评分细则,然后针对每条细则给出是否通过的判断,再把这些判断汇总成几个大方向上的评价,最后综合给出一个从0到10的分数。
论文把这个过程写成一个公式,从评分细则到逐项判断,到维度总结,再到最终分数,是一条完整的链路。评分细则不是提前写死的清单,而是每次看到具体的图片和要求后,现场生成出来的一份评估方案。
具体来说,不管是生成任务还是编辑任务,TRM都会盯着三个大方向去看。生成和编辑任务共享两个方向,一个是内容是否符合要求，一个是技术质量好不好。第三个方向根据任务不同而变化,生成任务看重美感,编辑任务则要额外检查有没有把不该动的地方保持原样。
在每个大方向下面,TRM会生成具体的、只能回答是或否的小问题。比如闹钟摆放得自然吗,墙面有没有明显瑕疵。这些小问题的答案汇总起来,就成了给这张图片打分的依据。
数据怎么攒出来的
光有思路不够,得有数据喂给模型学。
研究团队搞了一个人机协作的两阶段标注流程。第一阶段,人类专家和AI模型反复打磨,先让Gemini这类模型生成评分细则的草稿,人类专家再检查这些细则覆盖是否全面,有没有重复啰嗦,是否真的能通过看图判断出来。第二阶段,拿着验证过的细则,让模型给具体的图片打分,人类专家再校准。
这个流程听起来有点像老师批改学生的评分标准,老师先看学生写的评分细则合不合理,合理了才让学生按这个标准去打分,打完分老师再抽查纠偏。
Gemini：Google开发的多模态大模型，在本研究中主要承担教师模型的角色，用于生成初始的评分细则和打分结果。
最终这套流程攒出了大约2万条图像生成的训练案例和2.8万条图像编辑的训练案例，覆盖了从物体计数、空间关系到文字渲染、人像质量的各种细分类别。
拿到这些高质量标注之后,研究者用它们做了一次监督微调,让模型学会"先列细则再打分"这套完整的动作。这个阶段训练出来的模型叫TRM(SFT)。
SFT：全称Supervised Fine-Tuning，监督微调，指用人工标注好的高质量数据直接训练模型，让模型模仿标注中的评估过程。
打分打着打着就变了味
微调之后模型已经能打分了，但研究者发现了一个新麻烦。
如果只靠单张图片自己打分,模型很难捕捉到两张质量接近的图片之间那种细微的差别。比如两张编辑后的图片,内容都对了,分数都很高,但一张的光影融合更自然,另一张有点违和感。这种细节差异,单纯靠打一个绝对分数很难体现出来。
于是研究者想引入成对比较的思路,就是拿两张图片放在一起比,告诉模型哪张更好。业内常用的做法叫Bradley-Terry模型，这是一套源自统计学的经典方法，专门用来处理"谁更强"这类排序问题。
Bradley-Terry模型：一种概率模型，通过计算两个候选对象分数之差来预测哪个更被偏好，差距越大预测的把握越大。
听着挺合理，但研究者做实验后发现了个诡异的现象:用这套方法去训练,模型会把分数越训越极端。好的图片分数一路飙高,差的图片分数一路探底,最后好图片全部逼近满分,差图片全部逼近零分。这不是打分准确了，这是打分坏掉了。
原因也不难理解。Bradley-Terry这套逻辑天生鼓励拉大两张图片之间的分差,哪怕已经分出胜负了,继续拉大分差依然能获得更高的奖励。这就像考试排名,只要你排在别人前面,你就想方设法把分数差距拉得越来越大,哪怕对方已经明显考得比你差了,你还是要拼命刷高自己的分数以扩大领先优势。结果就是整个班的分数分布越来越两极化,中等成绩的学生消失了,只剩下学霸和吊车尾。这显然不是一个健康的打分系统该有的样子。
如果不解决这个问题，会怎样？分数会失去校准意义，一个真正拿7分水平的图片，可能会被系统硬推到9分或者3分，因为系统只在乎排序对不对，不在乎绝对分数有没有意义。而实际应用中，绝对分数恰恰是后续强化学习最需要的信号。
见好就收的打分机制
针对这个毛病,研究者设计了一套新方法，叫PD-GRPO,全称Pairwise Dual-Group Relative Policy Optimization。
PD-GRPO：本论文提出的训练方法，通过让偏好组和非偏好组的候选图片分别独立采样打分，再用两组的平均分作为参照标准，只要某张图片的分数和对方组的平均分之间的差距超过设定门槛，就给予固定奖励，超过门槛之后继续拉大分差不会得到额外奖励。
这个设计最关键的地方在于"见好就收"。一旦两组图片的分数拉开了足够的距离,达到了预设的安全边际,系统就不会再鼓励继续拉大差距了。这跟前面那种没有上限、一路鼓励极端化的做法完全不同。
用一个更贴近生活的场景理解:假设你是裁判,要给两队打分,你的任务只是确认领先的一方确实领先了合理的幅度,一旦确认了这个幅度足够,你就不用管到底领先多少分,不会因为领先20分就比领先10分给出更高的裁判满意度。这样一来,裁判打出来的分数才能真实反映每一队本身的水平,而不是被"谁领先谁"这件事绑架,失去了对绝对水平的判断力。
论文里给出了一张分数分布对比图,用Bradley-Terry训练出来的模型,分数扎堆在两端,接近0分和接近10分的候选图片占了绝大多数。而用PD-GRPO训练的模型,分数分布明显更均匀,覆盖了从低到高的整个区间。这说明PD-GRPO确实成功避免了打分两极化的问题,同时还保留住了成对比较带来的细粒度判别能力。
这套方法最终训练出的模型叫TRM(RL),是在TRM(SFT)基础上用PD-GRPO进一步优化得到的。
打分打得准不准，拿真实成绩说话
方法讲完了,得看效果。
论文在多个业界公认的评测基准上测试了TRM。图像生成方面用了GenAI-T2I和MMRB2-T2I两个基准，图像编辑方面用了EditScore-ERB、MMRB2、EditReward-ERB、EditReward-Compass四个基准。
对比对象里有GPT-4.1这样的闭源大模型,也有Qwen系列开源模型,还有专门针对图像打分训练的HPSv3、UnifiedReward、RationalRewards、EditScore这些专用奖励模型。
结果是,在图像生成的两个基准上,TRM的基础模型Qwen-3.5原本只能拿到58.9%和59.4%的准确率,经过监督微调之后跳到70.1%和65.8%,再经过PD-GRPO强化学习,进一步提升到71.2%和67.9%。这个9B参数规模的模型,不仅超过了所有测试过的开源模型和专用奖励模型,在两个基准上都超过了GPT-4.1。
图像编辑方向的结果同样亮眼。TRM(RL)在EditScore-ERB上的三项指标分别达到0.786、0.674、0.773，MMRB2上从基线的30.9%一路提升到58.2%，EditReward-ERB提升到71.3%。特别值得一提的是，TRM只用了9B参数，却在多项指标上超过了参数量是它八倍的EditScore-72B模型。
这里要停下来想一下,9B打过72B意味着什么。通常我们默认参数量越大能力越强,这是这个领域里几乎所有人的默认预期。TRM用不到八分之一的参数规模,在多个编辑评测指标上反超,这背后靠的不是堆算力,而是训练数据和训练方法本身设计得更聪明。这算得上是这篇论文里最反直觉的一个结果。
打分模型好不好，最终要看它能不能带来更好的图
评委打分打得准不准,归根结底要看这个评委能不能真的帮助选手进步。
研究者拿TRM去指导强化学习,优化了好几个不同的图像生成和编辑模型,包括BAGEL、FLUX.1-dev、SD3.5-M用于生成任务,FLUX.2-Klein、BAGEL、FLUX-Kontext、SenseNova-U1.5用于编辑任务。
强化学习：让生成模型根据奖励模型给出的反馈信号不断调整自己的输出，目标是让未来生成的内容能拿到更高的分数。
在生成任务上,BAGEL模型经过TRM指导优化后,在GenEval上从0.86提升到0.89,在TIIF-Long这个考察细粒度指令遵循能力的基准上提升了5.81分。FLUX.1-dev提升更明显,在TIIF-Short和TIIF-Long上分别提升了6.76和6.56分。
在编辑任务上，改善同样明显。BAGEL的ImgEdit分数从3.37提升到3.91,GEdit-Bench-EN/CN的综合得分从6.95/6.98提升到7.57/7.64。就连本身已经很强的SenseNova-U1.5,经过TRM优化后依然能从4.30提升到4.52。
论文还给出了一组定性对比的图片案例。用中文和英文两种指令测试SenseNova-U1.5，优化前的模型经常出现该保留的内容被误改、边缘有明显拼接痕迹这类问题。优化后的模型在保留原图内容、减少多余改动、更准确执行编辑指令这几方面都有明显进步。
一个细节值得单独拎出来说说。论文对比了用TRM和用72B规模的EditScore-72B这两个不同的奖励模型指导训练时,组内候选图片的分数标准差随训练步数变化的曲线。训练到300步时,用TRM训练组内分数标准差只下降了14.9%,而用EditScore-72B训练的组内分数标准差下降了50.5%。
这个数字说明什么？说明EditScore-72B训练到后期,给出的分数越来越趋同,不同候选图片打出来的分数区分度越来越差。而TRM始终保持着比较大的分数差异性。对于强化学习来说,组内分数差异越小,能提供的优化信号就越弱,模型就越难判断哪个候选更值得往那个方向调整。这就好比一群学生做同一套题,如果老师打分打得区分度不够,大家的分数都挤在一起,学生就很难知道自己到底哪里做得好、哪里还需要提高。TRM保留住了这种区分度，这也是它能用更小的参数规模达到甚至超过更大模型效果的一个重要原因。
Q&A
Q1：TRM是什么？
A：TRM全称Thinking Reward Model，是一种给AI生成或编辑的图片打分的奖励模型，核心特点是先针对每张具体图片生成量身定做的评分标准，再依据标准逐项判断，最后汇总出一个综合分数，而不是直接给出一个黑箱式的数字。
Q2：TRM为什么不直接用Bradley-Terry方法做成对比较训练？
A：因为实验发现直接用Bradley-Terry方法训练会导致分数越训越极端，好图片分数一路飙高、差图片分数一路探底，出现两极分化。研究者因此设计了PD-GRPO方法，一旦两组图片分差达到安全边际就不再额外奖励，避免了这个问题。
Q3：TRM的效果比大模型差吗？
A：不会。论文显示TRM只用9B参数规模，在多项图像编辑评测指标上超过了参数量是它八倍的EditScore-72B模型，在图像生成基准上也超过了GPT-4.1，说明效果好坏不完全取决于参数规模大小。
