你有没有遇到过这种情况：朋友发来一张电路板照片，说"帮我修修这个断掉的电路"，却没有告诉你具体断在哪根线、该怎么接。你得先看图，找到断点，判断该用什么颜色的线、接到哪个端口，然后才能动手修。这个过程里，"看懂问题"和"解决问题"是分开的两步，缺一不可。
但现在市面上评测AI画图修图能力的标准考试,基本上都在偷懒。它们只考第二步：给AI一句明确指令，比如"把P2和P3用黄色线连起来"，然后看AI能不能照做。至于AI能不能自己看出电路哪里断了、该怎么修，这件事根本没人认真考过。
这就是一篇最近的论文想戳破的盲点。研究者们给这套新的测试起了个名字，叫SolveEdit。
**当AI只会"照抄作业"，遇到"没写答案的题"就露馅了**
先说说现在这些图像编辑模型评测到底在测什么。
主流的做法是这样的：给模型一张图,配一句非常具体的指令,比如"把红色标记移到棋盘左侧",然后检查模型是不是精确执行了这个指令,同时没有破坏图片的其他部分。这套逻辑用在InstructPix2Pix、MagicBrush这些经典编辑数据集上,已经跑了好几年。
问题出在哪?这套测试默认了一件事:模型不需要"想",只需要"做"。指令里已经把该改哪里、改成什么样都写清楚了,模型要做的只是执行。
这就好比考驾照的时候,教练已经帮你把方向盘打好角度,你只需要踩油门。听起来很简单对吧?但现实开车根本不是这样,你得自己看路况、判断该往哪打方向盘。如果一个只会"照做"的系统,连"该往哪改"这个问题都没能力回答,那它离真正解决问题还差着一大截。
论文里提出了一个概念，把这种能力叫做"通过场景变换来解决视觉问题"。翻译成大白话就是：给AI一张图和一个目标，它得自己想明白现在的场景是什么状态、要达成目标必须改动什么、怎么改才能不殃及池鱼，然后真正把这个改动做出来。这不是听写,这是解题。
研究者们把问题拆解成了三种情况,论文里管这个叫"依赖体制"（Dependency Regime）：一种是指令本身就说清楚了要改什么，叫做"指令指定型"（Instruction-Specified，简称IS）,比如"把这个明显破损的标记物去掉";第二种是指令留了一个空白,得靠看图才能填上,叫"场景依赖型"（State-Dependent，简称SD）,比如"把方块放进唯一空着的格子里",AI得自己去图里找哪个格子是空的;第三种最难,叫"规则依赖型"（Rule-Dependent，简称RD）,图里藏着一套规则,比如一张图例、一个配色说明,AI得先读懂这套规则,再按规则去执行,比如"按图例给这些零件分类"。
**这套区分有什么用?**
想象你在给三个不同水平的人布置任务。第一个人你把每一步都写在纸条上,他只需要照做;第二个人你只说了目标,但现场信息足够他自己补全细节;第三个人你什么都没细说,墙上贴着一张规则说明,他得先读懂规则再动手。如果你把这三种人混在一起统一打分,你根本分不清谁是真的"会解决问题",谁只是"手熟"。SolveEdit把这三种情况严格分开考,就是为了避免这种鱼龙混杂。
**多个正确答案怎么打分?没有标准答案反而更科学**
传统的图像编辑评测还有一个大麻烦:它们通常准备一张"标准答案图",然后拿AI生成的结果去跟这张图比对相似度。但很多视觉问题根本没有唯一正确答案。
举个例子,如果任务是"把红色标记移到棋盘的空位上",而棋盘上有三个空位都合理,那到底该逼着AI猜中你心里想的那个空位,还是应该承认三个答案都算对?按照传统的"比对参考图"逻辑,AI选中另外两个正确空位,反而会被判定为"做错了"，这显然不公平。
SolveEdit的解法是引入了一套叫做"原子转换契约"（Atomic Transition Contract）的评分机制。简单说,就是不再规定"唯一正确的最终图片长什么样",而是列出两类清单:一类叫"必要条件"（Required Conditions）,规定这次改动必须实现哪些效果;另一类叫"保护条件"（Protected Conditions）,规定哪些内容绝对不能被破坏。
打个比方,这就像老板给你布置任务时不说"必须做成这个样子",而是说"必须完成A、B、C三件事,同时不能动X、Y、Z这几个东西"。只要你完成了A、B、C,没碰X、Y、Z,不管你具体怎么实现的,都算合格。这种打分方式的好处是,它不强求唯一路径,却依然能精确衡量你到底做没做到位。
围绕这套契约,论文设计了一个叫SolveScore的综合评分体系。评分被细分成六个维度:必要条件下的语义准确度（Semantic Accuracy，简称SA，考察实体、数量、文字、符号这些内容对不对）、关系准确度（Relational Accuracy，简称RA，考察位置、连接、包含这些空间关系对不对）、视觉质量（Visual Quality，简称VQ，考察有没有模糊、变形、残留痕迹这些渲染缺陷）,以及这三项各自对应的"保护"版本。六个维度分开算分,再综合成一个总分,这样既能看到AI整体表现,也能精确定位到底是哪一类能力出了问题。
这里有个细节设计得挺巧妙:如果AI一分没改对,但也一分没破坏别的内容,它依然会拿到一个基础分,而不是零分。反过来,如果它改对了要求的内容,但顺手把不该动的东西也弄坏了,系统会扣掉一部分分数,但扣分有上限,最多扣掉一半的完成度分数。这个设计避免了两种极端:既不会让"完全不作为"变成最优策略,也不会让"为了不出错而一动不动"变得比"努力尝试但有点瑕疵"更划算。
**为了保证打分公正,研究者还做了一件挺细致的事。**
评分主要靠一个视觉语言模型（VLM，Vision-Language Model，即能同时理解图片和文字的AI模型）来判断每一条标准是否达成,但对于某些客观性更强的判断,比如物体到底在不在图里、位置对不对,系统会额外调用专门的检测工具SAM（一种图像分割工具，能精确框出图片里每个物体的轮廓）和YOLO（一种目标检测工具，能快速识别图片里有哪些物体、在哪个位置）来做交叉验证。如果工具的判断和语言模型的判断不一致,系统会再让语言模型看一次证据重新裁决。这套流程尽量减少了"AI既当裁判又当选手"可能带来的偏差。
**2728道题背后的一场"找茬"游戏**
SolveEdit一共收录了2728个测试案例,覆盖10个应用领域、54个细分子领域,从日常生活场景、动物植物、建筑空间,到科学实验、地图导航、游戏拼图,几乎能想到的视觉场景都囊括了进去。图片来源也很杂,既有AI生成的合成图,也有真实拍摄的照片、动画游戏截图、电影画面截取,一共四种来源。
每个案例的构建都经过了严格筛选。研究者要求每个案例必须满足四个条件:改动的效果得能被客观核实;判断改动是否成立所需的证据必须在图里能看见;正确与否不能依赖某一张唯一的参考图去卡;而且"该改的"和"该保护的"必须能明确分开,不能纠缠不清。不满足这些条件的案例,要么被重新打磨,要么直接被淘汰出局。
**测出来的结果有点扎心:最强的AI也只考了57分**
研究者拿这套题库,测了9个图生图模型和2个图生视频模型,涵盖开源和商业系统。结果显示,表现最好的是OpenAI的GPT-Image-2,拿到57.0%的SolveScore总分,紧随其后的是Seedream 5.0 Pro的56.6%和Gemini 3.1 Flash Image的55.5%。
这个数字什么概念?意味着即便是当前最顶尖的商业级图像编辑模型,在这套需要"自己想明白该怎么改"的测试里,也有超过四成的任务完成得不合格,要么没改对、要么改坏了别的东西、要么两者都占。相比之下,开源模型的表现明显落后,比如OmniGen2只有9.7分,BAGEL是12.1分,差距非常悬殊。图生视频模型的表现更弱,HunyuanVideo-1.5只拿到7.4分。
更有意思的是,同样是拿到57分左右的高分,不同模型的"作弊手法"完全不同。GPT-Image-2的任务完成度（论文里用大写字母R表示）是67.6%,是所有模型里最高的,但它造成的意外破坏（用字母D表示）也是23.9%,比Seedream的17.6%高不少。也就是说,Seedream靠的是"手稳",很少误伤无关内容,才追平了GPT-Image-2靠"敢做"拼出来的分数。这两种策略的得分看起来差不多,但背后的行为模式完全不一样,如果只看总分,你根本看不出这层差异。
论文还发现一个更值得琢磨的现象:几乎所有顶尖模型,在"视觉质量"这个维度上的得分,都明显高于"语义准确"和"关系准确"这两个维度。换句话说,AI生成的图片看起来很干净、很漂亮,没有明显的模糊变形,但图里的内容可能压根就没解决问题。
这就像一个学生交上来的作业字迹工整、排版精美,批改老师一看题目答错了。表面的"好看"和实际的"做对"完全是两回事,而现在的AI恰恰更擅长前者。
**为什么难度会随着"要自己想的部分"增多而暴涨?**
论文里做了一个特别直观的对比实验,把三个头部模型在IS、SD、RD三种情况下的表现分别拉出来看。
结果显示,从IS到RD,分数出现了明显的断崖式下跌。以GPT-Image-2为例,IS情况下能拿到70.6分,到了SD情况下降到63.1分,掉了7.5分,一旦进入RD情况,直接跌到46.9分,相比IS足足掉了23.7分。Seedream和Gemini的模式也差不多,RD相对IS的落差都超过17分。
这个梯度说明什么?说明当指令里已经把答案写清楚的时候,AI执行得还算不错;但一旦需要它自己去观察场景、推断缺失的信息,表现就开始打折;而如果还要更进一步,读懂图里隐含的一套规则再去执行,表现就大幅崩盘。
研究者进一步拆解了这个差距具体体现在哪里。他们发现,从IS到RD,必要条件里"语义准确度"这项掉了25个百分点,"关系准确度"掉了13个百分点,而"视觉质量"只掉了5.6个百分点。反过来看保护条件那边,各项掉分都比较温和,视觉质量这项甚至几乎没有变化。
这组数据传递出一个很清晰的信号:AI在RD情况下犯的错,主要不是"画得难看了",而是"根本没搞懂该怎么改"。论文管这种错误叫"方案回收错误"（solution-recovery error）,和另一种"改是改对了但执行时画崩了"的"视觉执行错误"（visual-execution error）区分开。数据显示,当前模型的主要短板明显是前者。
这就好比让一个厨师做一道没写菜谱的菜。如果菜谱写得清清楚楚,厨师照着做,火候刀工可能都没问题;但如果只告诉他"做一道你觉得配这瓶红酒的菜",他可能连做什么菜都想错了,那接下来无论摆盘多精致,这道菜本质上已经跑题了。如果不区分"想错了菜"和"做糊了菜"这两种失败,厨艺学校根本没法针对性地训练学生,只会一股脑地让他们多练刀工,却没人告诉他们该先学会读懂顾客的需求。
**既然问题出在"想",那就让AI先想清楚再动手**
找到了病灶,研究者顺理成章地开了一剂药方,叫SolveEdit-Plan。
这套方案的思路很直白:既然AI经常"改都没改对",那就在它真正动笔之前,先加一个专门"想清楚"的环节。整个流程分成两步,一步叫Inspect（检查）,专门去找指令里那些没写清楚的变量,比如"到底该改哪个物体""该往哪个方向改""改成什么状态",然后主动申请查看图片里的局部细节区域来收集线索;第二步叫Resolve（决断）,拿着收集来的证据,在几个可能的改动方案里做比较,选出最合理的一个,再把这个方案翻译成一条更精确的指令,交给原封不动的图像编辑模型去执行最后一步生成。
关键的一点是,这套规划系统本身不需要任何训练,也完全不改动最终执行画图任务的那个生成模型。它更像是给生成模型配了一个"军师",军师先把作战计划琢磨清楚,再把命令下达给前线部队,前线部队还是原来那支部队,只是拿到的命令更靠谱了。
这就好比一个新手司机开车去一个从没去过的地方。如果没有导航,他得一边开车一边猜路,很容易在岔路口选错方向;如果有一个副驾驶帮他提前看好地图,确认好该走哪条路、哪里要绕开施工路段,再把清晰的路线口头告诉他,司机本身的驾驶技术一点没变,但整趟行程会顺畅很多。SolveEdit-Plan干的就是这个"副驾驶"的活。
论文里还专门设置了一个对照组,叫Generic Vision Rewrite（通用视觉改写）,用来排除一种可能性:会不会仅仅是因为指令变得更详细、更啰嗦了,分数才涨上去的,而不是因为真正做对了"推理"这件事?这个对照组用一样的调用次数、一样的模型底座,只是让它自由地把指令改写得更详细,但不刻意去做候选方案对比,也不明确列出保护清单。
**结果证明,光是"写得更详细"远远不够**
在GPT-Image-2上做的这组对比实验,数据非常清楚。原始直接调用（Direct）的分数是57.0%;换成不带任何设计巧思的文字重写（Text-only Rewrite）,分数几乎没动,只有57.3%;换成通用视觉重写（Generic Vision Rewrite）,分数涨到65.3%,涨了8.3分,说明加入视觉信息确实有帮助;但换成完整的SolveEdit-Plan方案,分数直接冲到71.6%,比原始水平涨了14.6分,比同样调用预算的通用视觉重写还要再多6.3分。
这组阶梯式的数据说明了一件事:让AI"看图"有用,但仅仅让它看图是不够的,真正起作用的是那套"明确列出该完成什么、该保护什么"的结构化思考方式。这也印证了前面诊断出的问题,AI缺的不是视力,是条理。
更让人意外的是,这套方案完成度从72.8%（通用视觉重写）涨到75.8%,同时意外破坏率从16.3%大幅降到8.6%,几乎腰斩。这意味着规划环节不仅帮AI把任务做得更对,还顺带让它下手更谨慎、更少误伤无关内容。
这套方法的效果也不局限在GPT-Image-2一个模型身上。研究者把它套用到开源模型Qwen-Image-Edit-2509上,分数从20.8%涨到26.9%;套用到图生视频模型HunyuanVideo-1.5上,分数从7.4%涨到14.0%,几乎翻倍。虽然这两个模型的绝对分数依然不高,离"解决问题"还有很长的路要走,但至少证明了先想清楚再动手这件事,是能跨模型、跨模态通用的。
按照对应分类维度看,规划带来的提升在SD和RD情况下尤其明显,分别达到23.3%和38.0%的相对提升,而IS情况下的提升相对温和,只有12.0%。这个模式跟前面诊断出的问题严丝合缝：越是需要"自己想"的部分,规划步骤帮的忙越大。
当然,这套方案不是没有代价。每处理一个案例,规划环节需要额外调用两次大语言模型,平均消耗3207个输入token、635个输出token,这些都是要花钱花时间的成本。研究者在论文里坦诚地把这笔账摆出来,而不是藏着掖着,这个态度值得肯定,毕竟"多想一步能让结果更好"这件事,本身也需要用真实的算力成本去换。
**这套测试给整个领域带来的提醒**
回过头看,SolveEdit这套评测体系最核心的价值,不在于它测出了哪个模型分数最高,而在于它逼着整个领域正视一个长期被忽略的分界线:执行一个已知的改动,和推断出该做什么改动,这是两种完全不同的能力,不该被混为一谈继续糊弄下去。
过去大家习惯性地认为,图像编辑模型的能力提升就是"改得更精细""破坏更少""画质更好",这些当然重要,但SolveEdit提醒我们,如果AI连"该改什么"这个前置问题都答不对,后面画得再精细也是南辕北辙。
论文里那张对比图给我留下很深的印象,几个案例的示意图里,AI面对"修复断掉的电路"这种需要自己判断哪根线该接的任务时,呈现出的失败案例往往画面干净整洁,乍一看毫无破绽,但仔细核对任务要求,才发现它压根没接对该接的那条线,或者接错了位置。这种"看起来很对,实际上没对"的失败形态,比那种一眼假的糟糕生成结果,反而更值得警惕,因为它更容易骗过粗心的人类审核者。
写在后面
读完这篇论文,最让我意外的其实不是分数本身,而是那个"视觉质量分数普遍高于语义和关系分数"的发现。这说明当前的图像生成模型已经很擅长"画得像模像样",但这种擅长恰恰可能掩盖了它们并没有真正理解任务的事实。这有点像一个人练出了一口流利的方言,却始终没搞懂那句方言到底在说什么意思,声音对了,内容跑偏了。
还有一个细节值得单独拿出来说:论文特意强调,"规则依赖型"任务比"指令指定型"任务更难,不是因为任务本身复杂,而是因为AI必须先从图片里"读"出一条隐藏规则,再照着执行。这提醒我一件事,评估AI能力的时候,题目表面看起来简单或复杂,和它实际考验的能力深浅,常常是两码事。一道只有一句话的指令,可能因为藏着一层没说破的规则,反而比十句话的复杂指令更难对付。
这套"先规划再执行"的思路,让我想起编程里"先设计再写代码"和"边想边写"的区别。很多写代码的人都有过这种经历:一上来就动手写,写到一半发现架构不对,推倒重来的成本比一开始花十分钟画个流程图要高得多。SolveEdit-Plan本质上是在给图像生成这件事,补上那张之前被跳过的流程图。
论文里还留了一个没解决的问题,值得继续追问:规划环节自己给出的判断,到底靠不靠谱?论文承认,规划阶段选出的方案,并没有拿去和人工标注的那份"标准契约"做核对,规划出错了会不会反而把生成模型带偏,这件事目前还是个黑箱。这个问题不解决,"先想清楚再动手"这条路径的上限在哪里,恐怕还得再观察一阵子。
Q&A
Q1：SolveEdit是什么?
A：SolveEdit是一个用来评测AI图像编辑模型"视觉问题解决能力"的基准测试,包含2728个案例,覆盖10个领域,核心是考察AI能否自己推断出该做什么改动,而不是只会照抄明确指令。
Q2：SolveScore的打分标准是怎样的?
A：SolveScore通过"原子转换契约"来打分,列出必须完成的必要条件和不能破坏的保护条件,从语义准确度、关系准确度、视觉质量六个维度综合评分,允许多种正确答案存在,而不依赖单一标准图片比对。
Q3：SolveEdit-Plan能带来多大提升?
A：SolveEdit-Plan让GPT-Image-2的SolveScore从57.0%提升到71.6%,提升14.6个百分点,同时在开源模型和视频生成模型上也有效果,核心做法是让AI在生成图片前先做推理和方案比较。
