你有没有试过让AI画一幅图,图是画出来了,但明显是"看图说话"式的敷衍。比如你说"画一个天平,左边放着图一里的硬币,右边放着图二的橙子之后的样子",它可能把硬币和橙子都画上去了,但天平该怎么倾斜,它压根没算。
这就是今天要聊的这篇论文想捅破的窗户纸。上海交通大学联合东南大学、华南理工、复旦、华东师大等几所高校的研究团队,搞了一个叫**RISEBench++**的评测体系,专门用来检验AI图像编辑模型是不是真的在"推理",而不是单纯地"看图找相似物体往上贴"。
这篇论文有点意思的地方在于,它不是第一次干这件事。它的前身RISEBench在2025年的NeurIPS(人工智能顶级会议之一)上拿了Oral奖,是入选论文里前0.35%的那批。这次的RISEBench++算是一次大升级,题库从360道扩充到1000道,支持的能力也从单一维度扩展到六大类,还顺带搞了一个能自己动脑子解题的"RISE-Agent"系统。
先说说这事到底难在哪。
AI能看懂图,能听懂话,但不代表它能"推理着画图"
过去几年,大型多模态模型(LMM)在"看图说话"(视觉理解)和"凭空画图"(图像生成)两件事上都进步神速。于是有人想,既然这两样都会了,那把图片拿过来改一改总没问题吧?
多模态模型*:一种既能理解图片和文字,又能生成图片和文字的AI系统,打通了"看"和"画"两种能力。
现实很打脸。研究团队发现,现有的开源模型在三件事上普遍拉胯:第一是看不懂复杂指令,第二是改完图之后原图的东西全变了样(appearance consistency,也就是外观一致性崩了),第三是只能处理单张图,碰到"给我两张图,把图二的东西放进图一"这种需求就歇菜。
但这时候,GPT-image系列和Google的Nano Banana系列杀出来了,表现得明显比开源模型强。这些模型展现出一种叫"推理驱动的视觉编辑"(Reasoning-Informed viSual Editing,缩写RISE)的能力,简单说就是能根据常识和逻辑去推断图片该怎么改,而不是死板地执行字面指令。
问题是,当时没有一个靠谱的尺子去量这种能力。你说A模型比B模型"更会推理",凭什么?凭感觉吗?这就是RISEBench要解决的事。
这就好比你想比较两个厨师谁更懂"随机应变",光让他们各做一道菜没用,因为简单的菜谁都能照着菜谱做好。你得设计一些刁钻的场景,比如"客人说不吃辣,但家里只有辣椒酱",看他们是乖乖端上辣的菜,还是真的会动脑子换个思路。如果没有这种刁钻的测试,所有厨师看起来都差不多"熟练",但真正懂变通的那个永远被埋没。
六维推理分类,把"动脑子"这件事拆解到了65种具体任务
RISEBench++最核心的贡献,是把"推理能力"这个模糊的概念,拆解成了六个维度:时间推理、因果推理、空间推理、逻辑推理、反事实推理,还有把这几种混在一起用的混合推理。
这六类又能归到三种不同的"动脑子"方式里。时间推理和因果推理属于知识驱动型,意思是只要你知道相关的常识或专业知识,不需要绕太多弯子就能推出答案。比如"画出三小时后沙漏的样子",你只要懂物理常识,一步就能想明白。
空间推理和逻辑推理则是感知驱动型,这类任务要求模型先从图片里"看懂"隐藏的空间结构或者规律是什么,再基于这个理解去推导答案。比如给你几组输入输出的图案变化示例,让你总结出规律,再套用到一张新图上。这比单纯查知识库难多了,因为规律得自己从图里找。
反事实推理是想象驱动型,要求模型一边调用现实知识,一边故意打破这个知识去构造一个"不可能但说得通"的场景,比如"画出摩托车装了方形轮胎会是什么样"。
最后的混合推理,则是把前面几种串起来做多轮编辑,一步步推进,同时还要保证每一步画面的连贯性。
六大类往下又细分成了12个子类,再往下是65种具体的任务类型。举个例子,时间推理下面有"常识性知识"(比如生命成长、物品老化)、"情境知识"(比如从图里的时钟读出时间,推算之后的状态)、"学科知识"(比如化学反应、天文现象)三个子类。这个层层细分的设计,让研究者能精确诊断出一个模型到底是哪个具体能力不行,而不是笼统地说"推理能力一般"。
这种分类方式有点像医院的体检报告。你去体检,报告不会只给你一个"健康"或"不健康"的总分,它会分出血常规、肝功能、心电图各项指标,每一项单独打分。这样医生才能告诉你具体是哪里出了问题,是肝有点脂肪,还是血脂偏高。如果只给一个笼统的总分,你连该去挂哪个科都不知道。RISEBench++对AI模型做的就是这种精细体检,而不是笼统的一刀切打分。
整个题库最终定格在1000道题,中英文各一份,时间、因果、空间、逻辑各200题,反事实和混合各100题。而且这1000道题不光支持单图输入,还支持多图输入和多轮对话式的编辑,这在同类评测里算是比较全面的设置了。
三把尺子:指令推理、外观一致性、视觉合理性
光有题库还不够,得有打分标准。研究团队设计了三个评估维度。
第一个叫指令推理(Instruction Reasoning),考察模型是不是真的理解并执行了指令里的显性要求和隐性逻辑。第二个叫外观一致性(Appearance Consistency),考察改图之后,没被要求改动的部分有没有莫名其妙地跟着变。第三个叫视觉合理性(Visual Plausibility),考察改动的部分看起来自然不自然,有没有扭曲、模糊这些瑕疵。
这三把尺子怎么量呢?研究团队先找了真人专家打分,建立评判标准,然后训练了一套"用AI裁判AI"的流程(LMM-as-a-Judge),让大模型自动打分,省去大量人工成本。
LMM-as-a-Judge*:用一个强大的多模态大模型充当裁判,去给另一个模型生成的图片打分,以此替代昂贵的人工评测。
但这里有个关键问题,机器裁判靠谱吗?团队专门做了人类对齐实验,找了100个样本,收集两个模型(Nano Banana Pro和Qwen-Image-Edit-2511)生成的200张图片,让四位人类标注员打分,再去跟各种候选的AI裁判模型比对。结果发现Gemini-3-Flash在指令推理和外观一致性这两项上跟人类打分最接近,平均绝对误差(MAE)只有0.48和0.58,斯皮尔曼相关系数(衡量两组数据排序一致性的指标)高达0.84和0.61。而视觉合理性这一项,用更轻量的Gemini-3.1-Flash-Lite反而对齐得更好,误差只有0.27。于是团队就拍板,前两项用Gemini-3-Flash打分,最后一项用成本更低的Gemini-3.1-Flash-Lite,兼顾了准确性和效率。
这套机制挺像考试阅卷的双盲抽检。你不能完全信任一个阅卷老师的尺度,得先拿一批样卷,让这个老师和权威专家同时打分,看看吻合度够不够高,吻合度高了才敢把剩下几千份卷子都交给他改。如果没有这一步校准,机器打的分数可能完全是另一套逻辑,你拿着一个不靠谱的尺子去量58个模型,结论全都站不住脚。
58个模型大乱斗,最强选手也只拿到56.6分
把尺子立好了,接下来就是真刀真枪地测。团队总共评测了58个视觉编辑方案,包括19个闭源模型、34个开源模型,还有5个带"智能体"色彩的代理方法。
结果最抓人眼球的一点是,表现最好的GPT-Image-2.5 Sunburst,总体准确率也只有56.6%。这意味着什么?意味着即便是当前最顶尖的商业模型,拿到这套题,及格线都没摸到一半以上的把握。放在2026年这个时间点,这个数字相当刺眼,因为它说明"推理式图像编辑"这件事远没有大家以为的那么成熟。
具体排名上,Nano Banana Pro和Nano Banana 2分列二三名,准确率分别是54.6%和50.8%。开源模型里表现最好的是HunyuanImage-3.0-Instruct,只有23.0%,跟闭源第一名差了33个百分点,这个差距相当巨大。
更有意思的是分类目的表现差异。像GPT-Image-2.5 Sunburst这种强模型,在时间、因果、空间、反事实推理这四类上能打到67.5%、69.0%、64.0%、72.0%,表现都不错。但一碰到逻辑推理和混合推理,分数直接腰斩,分别只有27.0%和39.0%。Nano Banana Pro在因果推理上能拿71.0%,逻辑推理和混合推理却只有36.0%和38.0%。
这说明一个规律,只要是能靠"查知识库"解决的问题,现在的模型基本都手拿把掐。但一旦需要模型自己从图里发现隐藏的规律,再套用到新场景,难度就陡然上升。
这就像让一个学生去考试,背诵默写题他都能拿满分,因为这是记忆的事。可一旦出现"给你几道例题,让你自己总结出规律,再去解一道没见过的新题",正确率立马掉下来,因为这需要的不是记忆,是真正的归纳推理。而现在的AI模型,恰恰是在"归纳"这一环节最薄弱。
研究团队还专门统计了三个评估维度各自的平均分,画成图表后发现一个很扎心的事实:大部分模型的视觉合理性(画面清不清晰、自不自然)得分都挺高,外观一致性(没改的部分保没保住)也不错,唯独指令推理这项拉得稀烂,模型之间的差距也最大。换句话说,当前这波模型的瓶颈已经不是"画得好不好看",而是"到底该不该这么画、改哪里"。这是个重要的信号,说明接下来的研究方向应该聚焦在推理能力,而不是继续卷生成画质。
RISE-Agent:给AI装上"先想清楚再动手"的脑子
既然发现了推理是瓶颈,研究团队没有止步于发论文吐槽,而是动手做了一套叫RISE-Agent的系统,试图用工程手段把这个短板补上。
RISE-Agent的设计思路分成三步:规划者(Planner)、执行者(Executor)、验证者(Verifier),形成一个闭环。
规划者先分析图片和指令,判断这个任务能不能靠常识直接推理出答案。如果需要额外的专业知识,就去联网搜索。如果这个问题能转化成一个结构化的计算任务,比如最短路径搜索、数独求解、坐标几何运算,规划者还能调用七种专门写好的代码工具去算出精确结果,而不是凭感觉瞎猜。
智能体(Agent)*:一种能够自主分析问题、调用工具、执行操作并根据反馈调整策略的AI系统,相当于给模型装上了"手脚"和"决策流程"。
规划完了之后,执行者负责把计划变成实际的图片操作。这里有个很聪明的设计,执行者不是只会用生成模型去"画",还配备了一套包含12种确定性操作的编程工具箱,比如画直线、画多边形、改文字、改颜色、挪动内容。为什么要这么麻烦?因为纯生成式的编辑模型经常会"手滑",你让它只改一个小格子的颜色,它可能把周围的像素也一起改了。对于逻辑推理这种涉及精确几何图形、符号标注的任务,这种误差是致命的。用编程工具直接在画布上做精确操作,未触碰的像素完全不变,这就从根本上避免了生成模型"手抖"的问题。
执行完了,验证者登场,检查这次生成是不是满足了指令要求、背景有没有被破坏、画质好不好。根据检查结果,验证者会选择三种动作之一:通过、局部修复,或者打回重新规划。如果只是小瑕疵,验证者会给出一条简短的修正指令,决定用生成式方法还是编程工具去修。如果发现从一开始推理方向就错了,直接打回让规划者重新想。
这整套流程就很像装修工程里的"监理制度"。你不能只找一个施工队,让他们按图施工就完事,万一图纸本身理解错了呢?得有设计师先看懂需求画出施工图(规划者),施工队按图精确施工(执行者),再有监理专门检查每一步有没有问题,发现瑕疵就让工人返工,发现图纸本身设计错了就打回去重新设计(验证者)。如果省掉监理这一环,施工队很可能按照一个错误的理解,兢兢业业地把房子盖歪了,而且盖到最后才发现问题,返工成本更高。
效果如何?研究团队做了消融实验(逐步去掉各个组件看效果变化),用FLUX.2 Klein 9B这个基础模型打底,不加任何组件时总分只有12.9%。加上规划者之后,总分一下跳到40.5%,涨幅相当惊人,尤其是在时间和因果推理这两类上提升最明显。这说明很多失败案例的根源,其实不在于"画不出来",而在于模型压根没想清楚"该画什么"。规划者把"想清楚目标状态"和"真正动手去画"这两件事拆开来做,减轻了生成模型的负担。
再加上编程工具,总分升到42.6%,逻辑、因果、反事实推理这几类都有明显提升,但有意思的是,时间和空间推理这两类反而略微下降了。这也符合逻辑,因为这两类任务大多是对自然照片进行编辑,编程工具这种硬邦邦的操作反而不适合处理自然场景的细腻变化,容易引入不自然的痕迹。
最后加上验证者的反复检查和修正,总分涨到48.0%,在六个类别里有五个都拿到了组内最佳。只有空间推理这项提升有限,研究团队推测这是因为验证者本身对空间关系的理解能力也有限,相当于监理自己对某个专业领域也不太懂,检查不出深层问题。
整体来看,RISE-Agent最终拿到了48.0%的总分,虽然还是没超过GPT-Image-2.5 Sunburst的56.6%,但已经超过了绝大部分闭源商业模型,也远超其他几个同类的智能体方案(比如MindBrush只有21.8%,IntentEdit只有13.2%)。考虑到RISE-Agent是完全不需要额外训练的(training-free),底层用的还只是一个开源的FLUX.2 Klein 9B模型,这个成绩相当能打。
研究团队还专门把RISE-Agent拿到另一个叫KRIS-Bench的评测体系上跑了一遍,验证它是不是只对RISEBench++这一套题目"开小灶"。结果RISE-Agent拿到了88.12分,超过所有开源模型,也超过了其他智能体方法,证明这套"先想后画再检查"的思路具备一定的泛化能力,不是单纯的应试技巧。
从具体案例看模型的"软肋"
论文里放了不少直观的对比案例,挺能说明问题。
比如有一道题,让模型根据第一张图里的当前视角(埃菲尔铁塔的实拍照片),在第二张地图上标出摄像机的大致位置。这个任务需要模型先理解照片里的空间线索(铁塔的朝向、远近),再去地图上做空间定位,典型的空间推理任务。几个模型表现参差不齐,而RISE-Agent能比较准确地定位出位置。
还有一道逻辑推理题,是个"开关灯游戏":点击某个格子会翻转它自己和上下左右四个相邻格子的状态,要求推算出点击后整个网格的变化,并用绿框标出发生变化的格子。结果Qwen-Image-Edit-2511几乎把整个网格都改了,明显是没理解规则,只是在"模仿"一种视觉风格上的变化。而RISE-Agent精确地只改动了应该变化的那几个格子,因为背后有编程工具在做精确计算,而不是靠生成模型"蒙"。
混合推理这类任务最能暴露问题。论文举了个例子,连续三步操作:先画出时钟一小时后的样子,再把整个时钟旋转180度,最后让分针顺时针转动3600度。这种多轮编辑最怕的是"误差累积",前一步画歪了,后面全跟着跑偏。结果显示,Qwen-Image-Edit-2509和HunyuanImage-3.0在这个任务上都出现了明显的画质退化,越往后的图越失真、越模糊。这说明多轮推理编辑的误差不只会在"推理"层面累积,还会在"视觉再生成"层面累积,这是比单次编辑难得多的一个维度。
这几个案例放在一起看,能感受到一个共同的规律:越是需要从图片里精确"读出"信息,再精确"执行"到画面上的任务,现有模型越容易翻车。而那种可以凭常识直接脑补的任务,大部分强模型都还对付得来。
写在后面
读完这篇论文,我印象最深的其实不是那堆模型排行榜,而是那张三维度对比图背后透露出的信号:现在AI图像编辑的瓶颈,已经从"画得好不好看"转移到了"该不该这么画"。这个转折点挺值得琢磨的,因为这两年整个行业的叙事几乎都在卷生成画质,卷分辨率,卷细节还原度,但这篇论文用58个模型的实测数据告诉你,画质这条赛道其实已经卷得差不多了,大家的视觉合理性得分普遍都不低。真正拉开差距的,反倒是最朴素的"理解力"。
还有一个细节值得单独说一说。RISE-Agent不需要额外训练,光靠给一个开源模型加上"先规划再执行再检查"的流程,就把总分从12.9%干到48.0%,提升了接近四倍。这说明当前很多模型的失败,根本原因可能不是生成能力不够强,而是压根没有一个"先想清楚再动手"的环节。这让我联想到人类解题的方式,我们做数学题也不是提笔就写答案,而是先在草稿纸上画图、列式子,想清楚思路再往卷子上誊写。AI模型如果跳过了这个"打草稿"的阶段,直接从指令一步跳到图像,出错的概率自然就高。这或许暗示了一个更大的方向:未来的多模态模型可能真的需要把"显式推理"当作一个独立的模块去设计,而不是指望端到端的生成能力自己悟出一切。
逻辑推理和混合推理这两类任务的低分,也让我忍不住多想一步。这两类任务的共同点是什么?都需要模型先从视觉信息里"归纳"出某种隐藏的规律或状态,再把这个规律应用到新的场景里。这恰恰是人类智能里最核心、最难被模仿的部分,归纳不是记忆,归纳需要建立抽象的联系。如果AI在这一点上始终薄弱,那说明它现在依然更像一个博闻强记的知识库,而不是一个真正会思考的系统。这条鸿沟会不会被下一代模型填平,还是个未知数。
Q&A
Q1:RISEBench++是用来做什么的?
A:RISEBench++是一套专门测试AI图像编辑模型"推理能力"的评测体系,包含1000道中英文双语题目,覆盖时间、因果、空间、逻辑、反事实、混合六大推理维度,用来检验AI改图的时候是不是真的在动脑子思考,而不只是机械执行指令。
Q2:目前表现最好的AI图像编辑模型是哪个?
A:在这次评测里,GPT-Image-2.5 Sunburst拿到了最高的56.6%准确率,是58个被测模型里表现最好的。但即便是最强模型,准确率也没能超过60%,说明推理式图像编辑还远未成熟。
Q3:RISE-Agent是什么,它和普通AI改图模型有什么区别?
A:RISE-Agent是论文团队自己设计的一套不需要额外训练的智能体系统,由规划者、执行者、验证者三部分组成,会先分析指令该怎么改、再用生成模型或精确编程工具去执行、最后自动检查结果并修正错误,整体表现超过了大部分商业闭源模型。







