你有没有遇到过这种情况：在一堆混杂着文字和图片的资料里找东西，结果系统给你推荐的全是看起来沾边但其实不相关的文字段落，而真正有答案的那张图表，却被挤到了十名开外？
这不是你的错觉。一群研究者最近做了个实验，把这个现象实实在在地测了出来，还给它起了个挺形象的名字：文本中的混乱。
**问题出在哪：单科满分，混搭就崩**
先说说这事儿是怎么被发现的。
现在做检索的AI模型，比如CLIP一类的，已经能很好地处理纯文字资料库，也能很好地处理纯图片资料库。
CLIP*：一种能同时理解文字和图像的AI模型，它把文字和图片都转换成一串数字（叫做向量），然后通过计算这些数字之间的相似度来判断两者是否相关。
但现实世界的资料库从来不是这么干净的。你打开一个企业知识库，或者一份扫描版的研究报告集合，里面往往是文字文档、图片文档、还有图文混合文档三种类型搅在一起。研究者们想知道：面对这种大杂烩，AI检索系统到底行不行？
他们做了一个巧妙的实验。拿一批图片文档，逐步把其中一部分图片换成内容上完全对应的文字描述，看检索效果怎么变化。
结果出来一张图，画出了一条很诡异的曲线，形状像字母V。在纯图片的资料库里，检索效果很好，能打到0.94分（满分1分）。在纯文字的资料库里，效果也不错，0.88分。但当两种模态的文档掺在一起的时候，分数直接跌到0.65。
这就好比一个学生数学单科能考95分，语文单科也能考90分，但只要把数学题和语文题混在同一张卷子里考，他反而只能考及格边缘。这不是因为他数学或语文变差了，而是他没学会在两种题型切换的情境下做出正确判断。
更扎心的是后续实验。研究者往纯图片资料库里分别掺入等量的无关文字和无关图片，看哪种干扰更致命。结果发现，掺入无关的文字段落，检索效果掉得特别惨，掉幅能到0.3到0.5分；而掺入等量的无关图片，影响反而小得多。
这意味着什么?意味着不是候选池变大了导致检索变难（那样两种干扰应该差不多），而是系统对文字这种模态本身，存在某种系统性的偏爱。哪怕这段文字压根答不了你的问题，它照样能排到真正相关的图片前面去。
**为什么文字能"插队"：模型内心的模态偏好**
要搞清楚这个偏爱到底是怎么回事，研究者设计了一个对照实验。
他们给同一份文档准备了三种版本：纯文字版（用AI生成的详细描述）、纯图片版（原图）、图文融合版（图片配一段简短摘要），然后拿同一批问题去分别查这三个版本的相似度得分。
结果相当一致。不管是哪个模型，文字版本得到的相似度分数，系统性地高于图片版本，哪怕这个图片确实是正确答案。
引用块：模态偏好，指的是检索模型在给文档打分时，不是单纯依据内容和问题的语义相关性，而是会因为文档所属的模态（文字、图片还是图文混合）而产生系统性的分数偏差，导致本不该影响排序的"是文字还是图片"这个因素，实际上左右了最终排名。
举个例子更直观。研究者拿一个关于"某品牌在某年开了多少家店"的问题去测试，发现排名前三的全是文字段落，分数都在0.7以上，而真正写着准确数字的那张图表，相似度只有0.51分，被挤到了第12名，彻底出局。
研究者进一步统计了一个指标，叫干扰率：当正确答案是一张图片时，有多少比例的问题会被一段无关的文字反超。结果在某个模型上，这个比例高达94.6%。也就是说，差不多每10次检索，有9次是文字凭借"天然的高分体质"把正确的图片挤下去的，而不是因为文字内容真的更贴题。
这事儿让人想起一个挺讽刺的场景。假如一个公司招聘，面试官对所有说普通话的候选人天然打高分，对说方言但能力更强的候选人天然打低分，哪怕后者的专业回答更切题。时间一长，公司招进来的未必是最合适的人，而是最会说"标准普通话"的人。检索系统里的这个偏好，本质上也是类似的事情：模态成了一种隐形的加分项，而这个加分项跟内容对不对答案没有任何关系。
**怎么治：让三种"打扮"的同一份文档平起平坐**
发现了病因，接下来就是开药方。
研究团队提出的方案叫Trident，核心思路特别直白：既然模型偏爱文字，那就不让文字有机会单独出头，而是强迫模型把同一份文档的三种呈现方式（纯文字、纯图片、图文融合）绑在一起学，谁也别想抢跑。
具体做法分成两步。
第一步是构造训练数据。研究者用一个大模型给每张图片文档生成两个版本的文字内容：一个详细描述作为纯文字版，一个简短摘要搭配原图作为融合版，加上原始图片本身，凑成三种正例视角，全部对应同一个问题。
第二步，也是更关键的一步，是设计了一个叫多正例视角InfoNCE的训练目标。
引用块：InfoNCE，是对比学习里常用的一种训练方法，它的基本思路是让模型在一堆候选项里，把真正相关的那个（正例）的得分拉高，把不相关的那些（负例）的得分压低，通过softmax这种归一化方式让所有候选项的得分放在同一把尺子上比较。
这里有个很容易被忽略的技术细节。如果你单独给每个模态训练一个独立的InfoNCE损失函数，会出现一个问题：给某个模态里所有候选项统一加一个偏移量，这个模态内部的排序完全不受影响。换句话说，哪怕模型对文字模态整体打分偏高、对图片模态整体打分偏低，只要每个模态自己内部排得对，损失函数照样能收敛到很低。
这就好比几个班分别考试，各自班里排名没问题，但没有一个统一的阅卷标准，导致甲班的90分和乙班的90分压根不是一回事，可成绩单上看起来都一样好看。
Trident的解法是把三种正例视角和所有负例，统统塞进同一个softmax归一化的分母里，强迫它们在同一把尺子下比较。这个损失函数可以拆解成两部分：一部分叫相关性判别，作用是让三个正例加起来的总概率质量尽量从负例那里抢过来，确保模型知道谁是真正相关的；另一部分叫正例视角平衡，作用是防止这部分抢来的概率质量被某一个模态（比如文字）独吞。
单独用相关性判别这一项，会出什么问题？论文里的梯度推导给出了答案：模型会倾向于依赖最容易匹配的文字正例去拿分，而放着图片或融合视角不管，因为这样做"性价比"最高，损失下降得最快。加上第二项平衡约束之后，情况变了：当某个视角分到的概率份额低于平均水平（也就是三分之一），它的得分会被主动拉高；份额超标的，反而会被压低。
这个设计思路让我想起餐厅拼桌吃饭分账的场景。如果只说"大家凑钱付清账单"，那肯定是谁抢着多点贵菜谁占便宜，反正账单总额算清楚就行，没人会主动限制自己点菜。但如果规定每个人最后实际吃到的份量必须大致相当，哪怕账单总数一样，吃饭的体验就完全不同了，不会有人因为嘴快占了大便宜，也不会有人饿着肚子回家。Trident做的事情，就是给检索模型加了这样一条"吃饭均等"的规则。
**效果到底怎么样**
光讲道理不够，实验数据得摆出来。
研究团队在六个视觉文档检索基准上做了测试，既看模型在原始单模态资料库上的表现（叫Origin），也看把六个数据集的混合模态资料库拼在一起之后的表现（叫Mix）。
表格里的数字挺能说明问题。以CLIP架构下的Jina-CLIP-v2为基准，原始模型在Mix设置下平均得分42.68，用了Trident训练之后冲到55.51，提升超过12个百分点。VLM架构下的对比更明显，Qwen3-VL-Embedding-2B在Mix设置下只有40.12分，而用Trident训练同一个底座模型后，分数飙升到73.90，几乎翻倍。
VLM*：Vision-Language Model，视觉语言模型的缩写，指的是能同时处理图像和文字输入、并在一个统一的网络结构里进行推理的AI模型，和CLIP那种图文分开编码再对齐的架构不同。
还有个挺有说服力的对比：训练后的2B参数小模型（Trident-Qwen3VL-2B），在Mix设置下的平均分73.90，居然超过了没训练过、参数量是它四倍的8B大模型（47.17分）。这说明问题根本不在于模型"笨"或者"不够大"，而是训练方式本身存在系统性缺陷，加大参数量根本治不了这个病。
研究者还专门测试了压缩嵌入维度后的表现。把向量维度从2048一路压到128（维度越低，存储和计算成本越小），结果在混合模态资料库上，Trident训练出的模型优势不仅没有缩小，反而稳定在26到30个百分点左右。这说明Trident带来的提升根本不是靠"更大的表示空间去装更多信息"，而是真的把模态偏好这个病根给治好了。
此外，研究者还专门做了个可视化分析，比较同模态文档对（比如文字对文字）和跨模态文档对（比如文字对图片）之间的相似度分布。训练之前，不同模态组合的相似度中心点差异很大，标准差达到0.055到0.092；训练之后，这个差异大幅收窄，标准差降到0.004到0.011。这相当于用数字证明了：模型看待不同模态文档的"心理标尺"，真的被拉平了。
有意思的是，研究者还试过一种更激进的做法：直接加一个损失项强迫三种视角的相似度完全相等。结果发现，这样做虽然能把标准差进一步压到0.003，但最终的检索效果反而比不强制相等时略差一点。
这说明一个挺值得玩味的道理：均衡不等于强行拉平。文字描述和图片本身承载的信息密度和细节粒度天然就不一样，比如一张图里可能藏着文字描述没写全的视觉细节，强行要求它们打分完全一致，其实是在扭曲这种天然差异。真正有用的均衡，是不让任何一个模态系统性地垄断注意力，而不是磨平它们之间本就该存在的合理差异。
研究团队还把这套方法搬到了自然图像检索的场景（不只是文档图片），在Google-WIT、MSCOCO等四个基准上验证，同样观察到了类似的提升幅度，说明这不是文档检索这个特定场景的巧合，而是一个更普遍的问题和解法。
Q&A
Q1：文本中的混乱具体指什么现象？
A：指在混合了文字、图片和图文融合文档的资料库里，检索系统会系统性地把无关的文字文档排到相关图片文档前面，导致真正含有答案的图片被挤出搜索结果前列，即便这些文字内容根本答不上问题。
Q2：Trident是怎么解决模态偏好问题的？
A：Trident给每份文档构造文字、图片、图文融合三种正例视角，并设计了多正例视角InfoNCE损失函数，把三种视角和所有负例放进同一个归一化空间里比较，同时约束相关性判别和正例视角平衡两个目标，防止某个模态单独垄断得分。
Q3：Trident训练后的小模型效果能超过没训练的大模型吗？
A：能。实验显示，经过Trident训练的20亿参数模型在混合模态检索任务上的平均得分达到73.90分，超过了未经训练、参数量是其四倍的80亿参数大模型（47.17分），说明问题出在训练方式而非模型规模。
