你有没有想过一个问题：如果让AI来打分，给一张图配一句话，这张图到底配不配这句话，AI该怎么判断？
听起来挺简单的对不对，不就是看图说话吗。但真让你细想，事情没那么容易。假设有一句话是“一辆公交车，周围没有椅子”，现在给你两张图，一张确实是公交车旁边空荡荡没有椅子，另一张是公交车旁边摆了把椅子。你一眼就能看出哪张对，但AI可能会栽在这种小陷阱里，而且栽得毫无征兆。
这正是葡萄牙Sword Health团队这篇论文要解决的问题。他们发现了一个让人哭笑不得的现象：现在主流的AI评分方法，一旦遇到带"没有""不是"这种否定词的句子,准确率会从还算正常的水平，直接跌到比瞎猜还差的地步。这篇论文就是在讲，他们怎么找到这个毛病的根子，以及怎么治好它。
先搞懂这件事难在哪里
要评价一张图和一句话配不配，业内大概分成两条路子。
第一条路叫整体打分
整体打分：把整句话和整张图一起扔给AI模型，问它"这张图是不是在画这句话描述的场景"，然后看AI回答"是"的概率有多高，概率越高说明匹配度越高。
这个方法的好处是它能把握住全局的意思，不会因小失大。但毛病也很明显，句子里但凡藏着几个具体的细节，比如数量、颜色、谁在谁左边，它就容易睁一只眼闭一只眼地放过去。
第二条路叫拆解打分
拆解打分：先把一句话拆成好几个具体的小问题，比如"图里有没有一辆公交车""公交车旁边有没有椅子"，然后一个一个去问AI，最后把答案汇总成一个分数。
这个办法听起来更细致，毕竟把一个大问题拆成几个小问题，每个小问题都盯紧了看，应该更靠谱才对。但论文里揭示了一个致命缺陷，这个缺陷藏得很深，深到几乎所有做拆解打分的团队都没意识到。
这个缺陷就是，当AI把句子拆成一个个问题之后，它需要知道"正确答案应该是什么"才能打分。可问题来了，现有的方法几乎都默认正确答案就是"是"。换句话说，不管你问的是"有没有公交车"还是"有没有椅子"，系统都假设图片里应该都有，回答"是"才算对。
这个假设在大多数情况下没什么问题，毕竟大部分描述性的句子确实是在说"有什么东西"。可一旦句子里出现否定词，这个假设就彻底崩了。
试着想一下这个场景：你去餐厅点餐，服务员问你"要不要加辣"，你说"不要"，结果厨房的默认设置是"所有人都要加辣"，除非你特别声明否则一律按加辣做。那你说"不要"之后，厨房系统压根没听懂你在说否定，直接按默认流程给你端来了辣的。这就是论文说的"fixed-yes假设"在做的事情，它从一开始就预设了标准答案是"有"，根本不管你句子里是不是在说"没有"。
论文里有个数据特别扎眼：用这种默认"是"的打分方式，遇到否定句的时候，准确率从本该有的水平直接跌到19%，比随机瞎猜的25%还低。这意味着什么？意味着一张完全正确、忠实反映了"没有某样东西"的图片，反而会被打低分，因为AI系统压根不信这个世界上存在"没有"这种正确答案。
这篇论文管这个毛病叫"fixed-yes的缺陷"
fixed-yes assumption：指评分系统在生成验证问题后，默认每个问题的正确答案都是"是"，不考虑原句中可能存在否定表达的情况。
这个发现听着简单，但其实戳穿了一个长期被忽视的盲区。之前做拆解打分的团队，像TIFA和DSG这些比较有名的方法，都没能跳出这个框架。他们要么用字符串硬匹配答案，要么读AI给出"是"的概率，但骨子里都认定了标准答案就是"是"。这就好比所有人都在优化一把只会开一种锁的钥匙，却没人想过锁本身可能有两种开法。
答案不该是猜出来的，该是问出来的
既然问题根子在于"标准答案是提前定好的"，那解决思路就很自然了：别提前定答案，让AI自己去问两边，再看看两边说不说得上话。
这就是这篇论文提出的核心方法，叫做Depict
Depict：一种不需要额外训练的图文匹配打分方法，它的核心思路是让AI分别回答"看图能不能回答这个问题"和"只看文字能不能回答这个问题"，然后比较这两次回答是否一致。
具体怎么做的呢。首先还是把一句话拆解成一堆是非问题，这一步和之前的方法差不多。但接下来不一样了，Depict让AI对每个问题回答两次。第一次把图片给它看，让它凭眼睛判断答案；第二次完全不给图片看，只给它那句原始描述的文字，让它凭文字推断"按道理这个问题该怎么答"。
然后关键的一步来了，Depict不去管"标准答案"到底是"是"还是"否"，它只看这两次回答是不是一致。如果看图说"是"，看文字也推断出"是"，那就是高度吻合；如果看图说"否"，看文字也推断"否"，同样算高度吻合。只有两边对不上的时候，才说明图和文字之间出了问题。
这个设计妙在哪里呢。你可以想象一个翻译场景：有两个人分别给你翻译同一段外语，一个人只听录音，一个人只看文稿，如果两人翻译出来的意思完全一致，你会更相信这个翻译是准的；但如果提前就规定"不管听到什么，翻译结果必须是肯定句"，那遇到一句否定句的时候，这个规定本身就会让翻译跑偏，哪怕两个人翻得再认真也没用。Depict做的事情，就是撤销了这个"必须是肯定句"的预设规定，让两边凭各自的信息自由作答，再看他们是否殊途同归。
论文里用一套数学公式表达了这个过程的演变。最早最简单的打分方式只看图片端给出"是"的概率，这叫
Faith规则：只依据AI看图后回答"是"的概率打分，完全不参考文字本身的倾向。
后来有团队往前走了一步，让AI也看一遍文字，用文字端"是"的概率去加权图片端的判断，这叫
Confirm规则：用文字端推断出"是"的概率，去加权图片端判断的得分，但只关注肯定答案的一致性。
可惜Confirm还是没有跳出旧框架，它只奖励两边都说"是"的情况，一旦正确答案其实是"否"，它照样抓瞎。真正解决问题的是第三步，也就是论文提出的
Agree规则：把"两边都说是"和"两边都说否"的概率都加起来，不管最终答案倾向是哪一边，只要两边步调一致就给高分。
用一个简单的例子感受一下区别。假设句子是"图里没有椅子"，正确做法应该是图片端和文字端都判断"没有椅子"，这时候两边关于"否"的概率都很高，Agree规则会把这两个"否"的概率相乘加总，得出一个高分。而如果用Faith规则，它压根不看"否"的概率，只盯着"是"的概率打分，图片里真的没有椅子，"是"的概率自然很低，分数也就跟着低，哪怕这张图完全正确。
这一处改动带来的效果立竿见影，论文的实验显示，仅仅是把打分规则从默认"是"换成双边一致性判断，在专门考验否定句理解能力的NegBench测试集上，准确率从19%直接飙升到88%。这不是一点点优化，这是把一个系统性失灵的问题直接修好了。
权重也得讲道理，不能一视同仁
光解决了"标准答案从哪来"这个问题还不够，论文还注意到另一个细节：有些问题，文字本身就说不清楚答案应该是什么。
比如句子里提到"一个人站在雾蒙蒙的地方"，你拆解出一个问题"这个人是不是心情低落"，这种问题光靠文字压根判断不出来，答案"是"和"否"的概率可能都差不多，一半一半。这种模棱两可的问题，如果也按普通问题一样参与打分，反而会把整体分数搅浑。
论文给这类问题设计了一个权重机制，叫
commitment weighting（承诺度加权）：根据文字端回答"是"和"否"概率之间的差距大小，决定这个问题在最终打分里占多少分量，差距越大说明文字态度越坚决，这个问题就越该被重视。
这个设计背后的逻辑其实很生活化。想象你在开会讨论一个方案，有的同事态度特别坚决，要么强烈支持要么强烈反对，这种意见你肯定会认真听；但有的同事含糊其辞，说"也许可以吧，也不一定"，这种态度暧昧的发言，你在做决策的时候自然会把它的权重调低一些，不会让它主导最终结果。如果不做这个调整会怎样？那些原本就说不清楚的模糊问题，会和那些清清楚楚的问题享受同等话语权，拖累整体判断的准确性,这也是论文在消融实验里验证过的,去掉这个权重机制后,各项指标都会出现不同程度的下滑。
有意思的是，这个权重机制还顺带解决了另一个老问题。以前的拆解打分方法，常常需要额外加一道"过滤噪声问题"的工序，把那些生成得不够好的问题筛掉。而Depict靠这个权重设计，自动就把模糊不清、信号弱的问题压低了声音，不需要再额外做人工过滤这道工序。
两条腿走路，总比一条腿稳
讲到这里，Depict已经把拆解打分这条路上的坑填平了。但论文团队并没有止步于此，他们还发现了一件更有意思的事：整体打分和拆解打分，压根不是谁能取代谁的关系，而是互补的关系。
他们做了个测试，在GenAI-Bench这个数据集上观察两种打分方法各自的表现。结果发现，两种方法在19%的图片对比较上给出了完全相反的判断，谁都不能说服谁。进一步分析发现，哪种方法能说得更"笃定"（也就是两张图之间分数差距更大），往往哪种方法的判断就更接近人类真实的偏好。
这个发现让团队想到了一个办法：干脆把两种打分方式加权平均，谁更笃定就多听谁的意见。这个融合后的最终分数公式里有个权重参数λ，论文里直接取了0.5，也就是两边各占一半，并没有针对任何测试集做调参。
这种"两条腿走路"的设计思路，让人联想到看病时候医生常做的事情：一个病人做了血液检查，又做了影像检查，两项检查结果如果互相印证，医生就更有把握下诊断；如果两项结果出现分歧，有经验的医生不会简单地选信任其中一项，而是会综合考虑哪项检查在这个具体病情上更可靠，做出更精准的判断。如果只信一项检查会怎样？论文里给出了明确答案，在争议样本上，只用整体打分的准确率是53%，只用拆解打分是47%，而融合之后能达到60%，两个"偏科生"合体之后反而比单独哪个都强。
论文还特意做了个对照实验，证明这个融合效果不是碰巧：如果用老办法的拆解打分（也就是还带着fixed-yes缺陷的Soft-TIFA）去和整体打分融合，不仅在GenAI-Bench上没有提升，在NegBench上反而从84.7%掉到了62.2%，比单用整体打分还差。这说明融合起作用的前提，是拆解打分那一端本身已经被治好了，两个"健康"的判断融合在一起才会互相成就，一个有毛病的判断混进来，只会把整体拖下水。
不需要重新训练，这是个大优势
这篇论文还有一个容易被忽略但其实很关键的设计理念，就是整个Depict方法是
training-free（训练无关）：指不需要针对特定任务用标注数据去微调模型参数，而是直接调用现成的、已经训练好的AI模型来完成打分任务。
这个选择背后有清楚的考量。市面上另一类评分方法是
fine-tuned evaluators（微调型评分器）：这类方法会拿人类标注的偏好数据，专门针对打分这件事去训练或微调一个模型，让它学会模仿人类的判断习惯。
微调型评分器听起来更精准，毕竟是专门训练出来的，但它有个致命的绑定问题：它学到的是某个特定AI底座在某个特定时间点、某批特定训练数据上的经验，一旦底层的AI模型升级了，这个评分器却不会跟着一起变强，除非你花时间花资源重新训练一遍。
这就好比你专门请了个老师傅教你修某一款老式汽车的发动机，老师傅教得再精湛，等车企推出了全新一代发动机，老师傅的手艺可能就不适用了，你得重新找人重新学。而Depict这种训练无关的方法更像是教你一套通用的诊断逻辑,不管哪个牌子哪个年代的发动机,这套逻辑都能用上,AI底座越换越强,这套逻辑的效果也跟着水涨船高,不需要重新投入。
论文里专门做了个实验验证这一点：他们把Depict背后的AI模型从原来的Qwen3-VL-4B换成了更大的Qwen3.5-27B，结果在各项测试中每一项都提升了0.06到0.10分，不需要改任何打分逻辑，光是换个更强的底座就白捡了这么多提升。这正是训练无关方法的红利所在。
论文团队为了验证这个优势到底有多稳，做了一次相当大规模的测试，横跨11个不同的AI模型底座，涵盖了Qwen、InternVL和Gemma三个不同的模型家族，还测试了5个不同的评测基准数据集。结果显示，在55种"底座加测试集"的组合里，Depict有54种都不输给现有最强的对比方法，其中43种明显领先，23种是统计学意义上显著的领先。这个覆盖面说明，Depict的优势不是靠挑了个特别趁手的模型凑出来的巧合，而是这套打分逻辑本身确实站得住脚。
生成问题这件事，也藏着细节
除了打分规则本身，论文还抠了一个容易被忽视的细节：问题到底该怎么生成。
之前的DSG方法走的是一条"先把句子拆成结构化的语义元组，再把每个元组转成问题"的路子，听起来挺严谨，但Depict选择跳过这道中间工序，直接让AI看着整句话一次性生成一堆是非问题。
为什么要这么做呢？论文给出了两个具体的反面案例。第一个案例是关于否定句的：用元组拆解的方式处理否定句，有47%的句子压根拆不出任何元组，对应的准确率直接掉到4.1%，比瞎猜还惨六倍。这说明元组拆解这种中间步骤，天生就不擅长表达"没有什么东西"这种概念，因为元组通常对应的是"有什么东西"，一旦句子讲的是不存在的东西，元组系统就懵了。
第二个案例更微妙，是关于Winoground这个专门考验语序理解的测试集。这个测试集里有些题目故意设计成两句话用词完全一样，但顺序或结构不同，意思就完全反过来了。如果用元组拆解法生成问题，两句话因为用词相同，生成出来的问题也高度雷同，重合度高达44%，有13%的问题甚至完全一模一样。这就导致两张图之间的得分差距被显著压缩，直接丢了21个百分点的准确率。这就像你问两个本来该区分开的场景同一套问题，结果两套问题几乎长得一个样，自然分不清谁是谁。而跳过元组、直接从整句生成问题，能保留住句子原本的结构信息，不会被中间那道工序磨平差异。
那些专门设计的消融实验
论文做了相当细致的拆解实验，一项一项验证每个设计到底起不起作用，这种严谨劲儿值得专门说一说。
他们固定住AI模型底座不变，只改变打分流程里的某一个环节，看看分数怎么变化。结果显示，打分规则本身是影响最大的单一因素：如果用老办法里那种"硬匹配、默认是"的方式打分，Winoground的准确率会掉16.3个百分点，NegBench更是直接跌破及格线。而换成Agree规则之后，NegBench准确率提升了4.6倍，GenAI-Bench的相关性也提升了23%，付出的代价只是Winoground上最多掉1个百分点,这笔账怎么算都划算。
另外他们还测试了给AI的"思考链"要不要打开，也就是让AI在回答问题前先写一段推理过程再给结论。结果出乎意料：打开思考链以后，在GenAI-Bench和NegBench这种需要给很多候选图片排名的场景里，分数反而普遍下降了，原因是AI一旦开始"想清楚了再答"，它的判断会变得特别绝对，不是0就是1，缺少了那种细腻的概率区分度，导致很多本该分出高下的候选图片被判成了平局。但在Winoground这种只需要二选一比较的场景里，思考链反而能提升将近5.5个百分点。这说明是否该让AI"三思而后答"，还得看具体任务场景，没有放之四海而皆准的答案。
成绩单摆出来看看
说了这么多设计思路，到底效果怎么样，还是得看硬数据。
论文选了三个专门衡量"AI打分和人类真实感受有多像"的基准测试集，分别是GenAI-Bench、TIFA160和RichHF-18K。在使用同一个AI模型底座（Qwen3-VL-4B）的情况下，Depict在GenAI-Bench上拿到0.630的相关性分数，超过了目前最强的微调型评分器DynEval-4B的0.595；在RichHF上是0.607对0.546，也是Depict领先；只有在TIFA160上，微调型评分器略胜一筹，0.802对0.691。
这个结果挺耐人寻味的，一个完全不需要额外训练的方法，在三个测试里赢了两个,这说明"训练无关"不代表"效果将就"，设计得巧妙，一样能打过专门调教出来的对手。
另外值得一提的是，针对否定句这个专门的测试集NegBench，论文把不同模板的否定句拆开统计，发现问题比想象的更普遍：在表达否定意思的句子里，86.8%的问题正确答案都应该是"否"，混合表达正反两种意思的句子里这个比例也有47.1%，而在普通肯定句里这个比例只有0.4%。这组数字直观地解释了为什么fixed-yes假设会在否定句上翻车得这么彻底，因为它压根没想过"大多数情况下答案是否"这种可能性存在。
写在后面
读完这篇论文，最触动我的其实不是Depict这个方法本身有多精巧，而是它揭示的一种思维惯性：当我们设计一套评分系统的时候，很容易在不知不觉中把"大多数情况下成立的假设"悄悄写死进系统里，然后彻底忘了这个假设有被打破的可能性。fixed-yes这个问题存在了这么久，被这么多团队用过，却一直没人把它挑明，这本身就挺值得琢磨的。
论文里有个细节让我反复回味：作者统计发现，用元组拆解法处理否定句时，有47%的句子根本生成不出任何问题。这不是说AI"答错了"，而是它压根没意识到自己该面对这个问题。这让我想到，很多系统性的失误并不是"算错了"，而是"问题从一开始就没被正确提出来"。这种盲区比普通的错误更隐蔽,因为它看起来一切正常，分数照样在算，流程照样在跑，直到有人专门设计了否定句这种刁钻的测试，才把裂缝照出来。
另外论文坦诚地提到了Depict自身还没解决的局限：因为两边的判断都依赖同一个AI模型底座，如果这个模型本身对某个场景存在一种共同的认知偏差，两边反而会"心有灵犀"地达成一致，制造出一种虚假的高度吻合，而这种吻合恰恰是错的。这让我觉得，所谓"双重验证"这件事，终究逃不开一个前提：验证的两个源头真的要足够独立，否则双重验证很可能只是同一个偏见被看了两遍。
这大概也是为什么论文最后提了一句，如果让两个不同的AI模型分别负责看图和看文字，也许能真正打破这种"自己骗自己"的风险，只是这样做的代价是要同时养两个模型。设计评分系统这件事，到头来好像也离不开那个老问题：你愿意为了更可靠的判断，多付出多少成本。
Q&A
Q1：Depict是什么？
A：Depict是Sword Health团队提出的一种训练无关的图文匹配打分方法，核心思路是让AI分别看图和看文字回答同一个问题，再比较两次回答是否一致，以此判断图片和文字描述是否匹配。
Q2：为什么以前的AI评分方法在否定句上会翻车？
A：因为以前的方法默认验证问题的标准答案都是"是"，遇到"没有某样东西"这种否定句时，这个默认假设就会出错，导致准确率从正常水平跌到19%，比随机瞎猜还差。
Q3：Depict相比需要额外训练的评分方法有什么优势？
A：Depict不需要用标注数据专门训练，可以直接搭配任何现成的AI模型使用，模型升级了效果也会跟着提升，不用重新训练，而且在11个不同模型、5个测试集的组合中有54种情况表现不输甚至超过训练型方法。
