你有没有试过用AI生成一张有好几个人物的图？比如说，给它四张参考图，一张是你朋友的脸，一张是某件衣服，一张是某个背景，再加一张风格图，然后让它把这些东西拼成一张自然的照片。
结果大概率会让你抓狂。
人可能会莫名其妙多一个头，衣服穿反了颜色,背景干脆消失了,或者更常见的情况是,每个元素看起来都像是从原图里剪下来直接粘贴上去的,光线不对,透视不对,整张图透着一股"拼贴画"的廉价感。
这不是你操作有问题,这是目前几乎所有多参考图像生成模型的通病。东京大学的研究团队在他们最新的论文里,把这个问题彻底摆到了台面上,并且给出了一个挺聪明的解决方案。
问题到底难在哪
先说清楚一件事:单张参考图生成图像,现在的AI模型已经做得相当不错了。你给一张脸,让它换个发型换个背景,基本不会出岔子。
但只要参考图变成两张、三张、四张,情况就完全不同了。
论文里提到一个关键数据:即便是市面上最强的开源模型FLUX.2 klein 4B,在四参考图的任务上,平均得分只有5.72分(满分10分)。这是个什么概念?就是差不多一半的分都拿不到,相当于一个及格线都摸不到的水平。而这已经是开源界的顶尖选手了。
为什么单图行、多图就不行?
**多参考*：指同时输入多张不同的图片作为素材,让AI模型把它们的内容组合进一张新图里,比如一张图给人脸、一张给衣服、一张给背景。
根本原因在于,每张参考图在任务里扮演的角色是不一样的。有的负责提供人物身份,有的负责提供服装样式,有的负责提供场景背景,还有的负责提供整体画风。模型必须先搞懂"这张图是要我拿来当身份参考,还是当背景参考",然后才能正确地把它揉进最终画面里。这一步,恰恰是现有模型最容易翻车的地方。
更麻烦的是,即使模型没搞错角色分配,生成出来的图还得同时满足好几个标准:每个参考的细节要保留、画面整体要自然、光线要统一、不能有多余或缺失的元素。任何一个环节出问题,整张图就废了。
这就好比让一个新手厨师同时处理四种完全不同的食材,还要求最后端出来的是一道融合菜,而不是四份东西简单堆在一个盘子里。食材认错了(角色分配错误)会直接做砸,就算认对了,火候、调味、摆盘任何一步没做好,菜照样端不出手。如果这个厨师干脆放弃融合,直接把四种食材原样摆盘,那确实"每种食材都有",但吃起来完全不是一道菜,这就是论文里说的"拼贴感"问题的本质。
研究者们的思路:别改模型,改"工作流程"
面对这个难题,一种直觉的解决方案是重新训练一个更强的模型。但训练大模型代价极高,而且已经有团队在做这件事了。
东京大学的团队想到了另一条路:模型本身不动,想办法优化"怎么用这个模型"。
**Harness(操作框架)*：指一段可执行的程序代码,它规定了参考图怎么被解读、提示词怎么构造、生成过程怎么进行、结果怎么被诊断和挑选,简单说就是"调用AI模型的操作手册"。
这个思路挺有意思。你可以把一个AI图像生成模型想象成一个技艺高超但不太会安排工作流程的画家。画家本身的技术没问题,但如果没人告诉他"先画哪个、参考哪张图对应哪个位置、画完怎么检查",他自己瞎画很容易出错。而Harness,就是给这个画家配的一整套工作流程说明书,告诉他先看哪张参考图、按什么顺序画、画完怎么自我检查、觉得不满意时怎么改。
问题是,这份说明书该怎么写才最好?研究团队发现,人类专家手写的操作流程,效果差异巨大。有的框架能让分数从5.72分提到6-7分,有的甚至没什么改善。这说明好的工作流程不是拍脑袋就能想出来的,好坏之间的差距,连专家自己都很难提前判断。
于是他们干脆让AI自己来试错优化这套流程,这就是这篇论文的核心方法:AutoRef。
AutoRef是怎么工作的:一场持续五轮的"淘汰赛"
AutoRef的核心机制,可以理解成一场有严格规则的淘汰赛,用来自动寻找最好的Harness。
整个系统里有三个关键角色:负责"出题改稿"的编程智能体(Proposer),负责实际干活的图像生成模型和推理模型(两者参数全程冻结不变),以及负责打分的评估模型。
**Proposer(提议者)*：一个基于大语言模型的编程智能体,能够读取代码、评分记录和执行轨迹,并据此改写Harness的代码,提出新的候选方案。
每一轮搜索,Proposer会读取当前"晋级"的几个最优Harness方案,以及之前所有尝试过的方案留下的记录,然后写出几个新的候选方案。这些新方案会先在一批训练任务上跑一遍,把结果、评分理由、生成的图片都记录下来,供Proposer下一轮参考。
这里有个特别值得说的设计:训练任务和验证任务是严格分开的。
Proposer只能看到训练任务上的详细反馈,比如某张图为什么失败、评分模型给出的具体理由是什么。但决定哪个方案能"晋级"进入下一轮的,是另一批Proposer完全看不到细节的验证任务,它只会被告知"这个方案赢了"或者"输了",具体分数和过程都是保密的。
为什么要这么设计?
如果打分标准和改进依据用的是同一批题目,系统很容易学会"应试技巧",专门针对这几道题优化,却在没见过的新任务上表现平平。这就像考试作弊被抓的那种感觉,平时模拟考次次满分,一到真正的期末考试就露馅。分开训练集和验证集,相当于让学生平时刷题的时候能看到详细的批改意见,但决定他期末成绩的是另一套他没刷过的题,而且连分数细节都不告诉他,只告诉他"过了"还是"没过"。这样他就没法针对某几道具体题目投机取巧,只能真正把解题思路练扎实。
如果不做这个区分会怎样?论文里专门做了对照实验,用同样的模型和设备,把训练反馈和选拔用的是同一批任务的方法(叫Meta-Harness)最终只能收敛到6.23分,而AutoRef这套分离机制最后跑到了7.37分,差了超过一分。这个差距证明,"考什么"和"练什么"分开,确实是必要的。
另外一个设计是"保留多个候选"而不是"只留最优解"。每一轮结束后,系统不是只留下验证集上分数最高的那一个方案继续往下改,而是保留前两名(论文里叫beam width为2),两个方案分别再衍生出新的候选。
这个设计的意义在于对抗随机性。图像生成本身带有随机成分,评分模型打分也不是绝对精确,如果每轮只信任"当前最优"的那一个,很可能因为一次运气不好的评分就把一个真正有潜力的思路直接淘汰掉,后面就再也没机会验证它了。论文里做了对比:只保留单一最优解的做法(Greedy Search)最终跑到6.67分,而AutoRef保留两个候选最终跑到7.37分。更有意思的是,AutoRef搜索出来的第二名方案(没有被选为最终版本的那个),分数是7.00分,依然超过了另外两种搜索方法各自跑出来的最终结果。这说明"多留几个种子"这个策略本身贡献相当大。
最终跑出来的Harness长什么样
经过五轮搜索,系统最终稳定收敛出一套叫做AutoRef-Harness的操作流程。整个流程会调用图像生成模型三次,调用推理模型若干次,大致可以拆成四个步骤。
第一步是**参考图定标(Reference-Grounded Prompting)*。
推理模型会先通读用户的指令和全部参考图,自己写一段新的提示词,明确指出每个元素该从哪张参考图里取,不该取的内容一律排除,而不是把用户写的原始指令原封不动丢给生成模型。
这一步解决的是前面提到的"角色分配错误"问题。原始指令往往写得比较口语化,比如"把第一张的人放在第三张的背景里",AI模型如果直接理解这句话,很容易在多个参考图之间搞混。经过推理模型重新加工后的提示词,相当于把每个元素和它对应的来源明确焊死,减少了理解偏差的空间。
第二步是**结构多样化草图*生成,系统会同时用两种完全不同结构的提示词各生成一张草图。
一种是按角色逐个描述的"场景优先"写法,另一种则专门去找出参考图里哪一张承担了"背景"或"风格"的角色,把那张图当作画布本身传给生成模型第一位,让其他角色的元素被"画进"这个画布里,而不是简单叠加。如果找不出这样的背景图,第二张草图就换个种子再抽一次同样的提示词。
为什么要故意生成两种结构不同的草稿,而不是简单地对同一个提示词多抽几次样?
这里针对的正是前面说的"拼贴感"问题。论文观察到,一个常见的失败模式是,每个人物单独看都很像参考图,但整张图里光线方向不一致、色调不统一、透视关系对不上,看起来就像是几张照片硬凑在一起。单纯换个随机种子重新生成一次,往往解决不了这个问题,因为提示词的底层结构没变,模型还是按同样的方式去理解和组合元素。而把背景参考图当作"画布"直接传给生成模型,相当于告诉它"这张图的光线、色调、材质就是标准答案,你要把新元素融进去",这是从根本上改变了生成逻辑,而不是简单地多试几次。
第三步是**投诉导向的修订*。
推理模型会针对前两张草图里胜出的那一张,列出最多五条具体的问题,每一条都明确指出是哪张参考图对应的问题没处理好,比如"第二张参考图里的人物脸型没对上"。这些具体问题会被整理进一版修改过的提示词,再生成第三张草图。如果推理模型实在挑不出毛病,那就直接对获胜草图的提示词再抽一次样。
这一步的价值在于,它把"哪里不好"这件模糊的判断,转化成了可操作的具体清单。空泛地说"这张图不够好"对生成模型没有指导意义,但说"第四张参考图里小提琴手的脸型和发型没匹配上,应该是深色直发变成了野性的棕色卷发",这样的描述才能真正指导下一次生成往正确方向修正。
第四步是**失败感知的选择机制*。
在几张草图之间做最终选择时,系统不是简单地让评分模型打分选最高的,而是先检查每张图有没有"硬性失败",比如缺了某个参考图对应的元素、多出来一个人、背景完全用错了。硬性失败少的草图会直接胜出,只有在打平的情况下,才进一步让推理模型列出更细致的差异,并且用两种呈现顺序各判一次,后出场的挑战者必须两次都赢才能真正胜出。
这一步很关键的一点是,它没有用同一个评分模型来做最终判断,而是让推理模型(实际用的是GPT-5.5)来做这个决定,和真正打分用的评估模型是分开的。
效果到底如何:小模型也能打赢大模型
说了这么多设计细节,最终效果才是硬道理。
在MultiBanana基准测试的四参考图任务上,装上AutoRef-Harness之后,FLUX.2 klein 4B(一个体量相对较小的开源模型)的平均分从5.72分直接跳到7.37分,提升了1.65分。
这个分数意味着什么?对照一下同场比赛的其他选手:体量更大的FLUX.2 klein 9B原始得分是5.78分,几乎和4B版本打平,说明单纯堆模型规模并没能解决多参考图生成的问题。而更让人意外的是,装上AutoRef-Harness的4B模型,反而超过了三个重量级的商业闭源模型:GPT-Image-1.5(7.07分)、Nano Banana Pro(7.20分)、Seedream 4.5(7.03分)。
一个开源的、体量不算大的模型,配上正确的操作流程,居然能打平甚至超过顶级商业模型。这个结果本身就很说明问题:很多时候限制效果的不是模型能力不够,而是没有把模型用对方法。
更值得注意的是这套Harness的迁移能力。研究团队专门测试了如果把这套流程原封不动搬到其他场景会怎样。
换成三参考图或五参考图的任务(这两个设置搜索过程中完全没用过),分数依然分别从6.94分提升到7.76分、从5.19分提升到6.36分。换成体量更大的FLUX.2 klein 9B,分数从5.78分提升到7.10分。换成完全不同家族的Qwen-Image-Edit-2511模型,分数从4.44分提升到5.69分。甚至换一个完全没见过的评测基准OmniContext,以及换一个不同的评分模型GPT-4.1,同样有效果提升。就连把负责推理决策的模型从GPT-5.5换成开源的Qwen3-VL-32B,分数依然从5.72分提升到6.90分。
这套流程的核心逻辑显然抓住了某种普遍规律,而不是针对某个特定模型或特定题目调出来的"应试技巧"。
不过研究团队也很坦诚地指出了这套方法的天花板在哪里。Harness终究只是改变模型的使用方式,它没办法让一个模型生成出它本身能力范围之外的东西。论文里给了一个具体案例:Qwen-Image-Edit-2511模型在处理五张参考图任务时,原始得分只有1.89分,装上AutoRef-Harness之后反而略降到1.87分。研究团队分析发现,这时候这个模型生成的三张草图里,有91%的任务是三张全部被判定为"硬性失败",连一张勉强能用的图都拿不出来。这种情况下,不管挑选机制多聪明都无济于事,巧妙的编辑手法救不了一份根本没写好的初稿。这也提醒我们,操作流程的优化和模型本身能力的提升,其实是两件互补的事情,不是互相替代的关系。
事实上论文里也验证了这种互补性:把AutoRef-Harness用在一个已经经过针对性微调的模型DyRef上(该模型本身得分4.91分),装上Harness之后分数进一步提升到5.90分。说明即便模型已经被专门训练过,操作流程的优化依然能带来额外收益,两者的效果是可以叠加的。
团队做了什么来验证这不是巧合
研究团队还做了一系列拆解实验来证明,这套四步流程里的每一步都是真的有用,不是随便拼凑出来看起来复杂的花架子。
他们逐一去掉某一个组件做对比:去掉"结构多样化草图"这一步,分数从7.37跌到7.01;去掉"投诉导向的修订",分数跌到6.99;去掉"失败感知的选择机制",分数跌到6.93。四个组件全部去掉只剩下参考图定标这一步单独使用,分数是6.91分;如果连参考图定标也去掉,只保留失败感知选择机制,分数是6.15分;什么都不加,裸模型原始分数是5.72分。
每一步单独拿出来都有正向贡献,但没有任何一种"部分组合"能达到全部四步加在一起的效果。这说明这套流程不是简单的功能堆叠,而是四个环节之间有着相互依赖的协同关系。
除了自动化评分,研究团队还找了四名真人评委,对比AutoRef-Harness生成的结果和其他模型的输出,让评委在不知道哪张是哪个模型生成的情况下盲选。结果显示,对比原始的FLUX.2 klein 4B,人类评委给出70%的胜率;对比更大的FLUX.2 klein 9B是64%胜率;对比Seedream 4.5是63%胜率;即便对比顶级商业模型Nano Banana Pro,依然是46%比40%的微弱优势。这说明前面那些自动评分的提升,并不只是"模型学会了讨好评分算法"这种投机取巧,真人看了照样觉得图更好。
Q&A
Q1：AutoRef是什么？
A：AutoRef是东京大学团队提出的一种方法,它不改动AI图像生成模型本身,而是自动优化调用这个模型的操作流程(Harness),从而在多参考图像生成任务上大幅提升效果。
Q2：AutoRef能带来多大的效果提升？
A：在MultiBanana基准的四参考图任务上,开源模型FLUX.2 klein 4B的平均分从5.72分提升到7.37分,超过了GPT-Image-1.5、Nano Banana Pro等多个商业闭源模型。
Q3：AutoRef优化出来的操作流程能用在其他模型上吗？
A：可以。研究显示这套流程无需重新训练,直接搬到不同规模、不同家族的其他模型上依然有效,甚至换成不同的评测基准和评分模型也能保持提升效果。
