你有没有经历过这种场景:明明脑子里有答案,话到嘴边却说不出来,或者说出来的跟想的完全是两码事。考试的时候这种感觉最熟悉,你盯着那道题,隐约觉得见过这个知识点,但就是组织不出语言把它写在答卷上。
2026年的一篇研究发现,现在最前沿的多模态AI,也就是那些能同时看图、听声音、读文字的全能型大模型,居然也有这个毛病。
研究团队给这类模型起了个名字,叫Omni-LLM
**Omni-LLM**:全模态大语言模型,指能够同时处理视觉、听觉、惯性传感器信号等多种非文本信息,并结合语言模型统一生成回答的AI系统,比如能同时看视频、听音频再回答问题的那种模型。
研究人员发现一个挺扎心的现象:给这些模型看一段视频、听一段音频,再问它一个需要综合两边信息才能答对的问题,模型经常答错。但如果你换个方式问它,不问最终答案,而是先问"你从视频里看到了什么""你从音频里听到了什么",它却能准确说出关键信息。知识明明在那儿,可是一到要给出最终答案的那一步,这些信息就像是凭空消失了。
研究者给这个现象取了个名字,叫"知道但说不出来"问题。
这篇论文想弄明白两件事:这个"说不出来"到底卡在哪一步,以及能不能想办法让模型把它知道的东西真正用上。
**当信息越多,模型反而越不会用**
论文里举了个很生动的例子。有一段视频,画面是一群人站在屋子里抬头看着天花板,配的音频是一个女孩说"要有光"这句台词。问题是:这位父亲给女儿准备了什么礼物?
直接让模型回答,它会说画面没提到礼物相关的内容,音频也只是一句歌词,答不出来。
但如果先让它分别描述视觉内容和听觉内容,模型自己写出来:"我能看到一个满是人的房间,大家都望着天花板……我能听到一个女孩说'要有光'"。看到这两句描述放在一起后,再让它回答同一个问题,它立刻答对了:花瓣形状的吊灯。
这个落差让研究者意识到一件事:模型的感知系统其实把信息处理得很好,问题出在感知之后,到生成答案之前的这一段路上。而且这个问题不是模态越多就越容易解决,反而是模态越多,问题越严重。论文里的一张图显示,随着输入的模态数量从1个增加到3个,模型的推理准确率在持续下滑,但它单纯提取知识的能力却基本没变。这说明瓶颈不在于模型看不懂,而在于它不知道怎么把看懂的东西整合进答案里。
这就好比你同时请了三个翻译,一个负责看肢体语言,一个负责听语气,一个负责读文字记录,每个人单独汇报都很准确,但当你问"到底发生了什么事"时,三个人谁也不愿意先开口整合信息,结果你得到的反而是一堆支离破碎的片段,还不如只请一个翻译来得明白。如果不解决这个整合环节的问题,模态越多,信息反而越乱。
**用一把尺子量出知识藏在哪里**
要解决问题,先得知道问题出在哪个具体环节。研究者设计了一套测量工具,叫做Token级模态对齐
**TMA(Token-level Modality Alignment)**:一种衡量指标,用来计算输入模态(比如图像、音频)中每一个具体的信息单元,和模型最终生成回答时所用的信息单元之间,到底有多"合拍"。数值越高,说明这段输入信息离最终答案的表达空间越近,越容易被用上。
为什么要专门发明这把尺子?因为过去衡量"模态对齐"的办法大多是把整段视频或整段音频压缩成一个向量,再去看这个向量跟文字向量像不像。这就好比给一整本书打一个总体的"好看指数",却看不出书里到底是哪一页特别精彩,哪一页特别无聊。TMA不这么干,它细到每一个token(可以理解为模型处理信息的最小单元,一帧画面里的一小块、音频里的一小段,都可能是一个token),单独去算这个token和最终答案里哪个词最像,然后记录下这个相似度。这样就能看清楚,一段视频里究竟是哪一帧、音频里究竟是哪一秒的声音,真正参与了最后答案的生成。
用这把尺子一量,研究者发现了几个很有意思的规律。
第一个规律是,文字类型的token,天生就比非文字类型的token更容易被模型"看见"。哪怕这段文字跟问题毫无关系,只是随便插进去的,它获得的注意力权重也远远高于真正相关的图像或音频片段。这就像开会的时候,哪怕发言人说的是废话,只要他举手站起来说话,大家的目光也会不自觉地看过去,而那个一直在角落里打手势比划重点信息的人,反而没人注意。
第二个规律更关键:TMA值高低,跟模型是否"知道"这段信息是两回事。研究者做了个实验,把TMA值高的token和TMA值低的token分别遮住,再看模型表现。结果发现,不管遮哪种token,模型提取知识的能力几乎不受影响,说明知识确实还在。但如果遮住TMA值高的那些token,模型最终答题的准确率会大幅下降;遮TMA值低的则影响很小。这证明TMA测量的不是"模型是否拥有这个信息",而是"这个信息有没有通往答案生成的那条路"。
第三个规律呼应了前面提到的现象:模态越多,TMA值的平均水平和波动幅度都会上升。平均值上升听起来是好事,但波动幅度变大意味着有些信息变得更容易用了,另一些却被进一步边缘化了。信息没有被平均地激活,而是被重新洗牌,有人更靠近聚光灯,有人被推得更远。
**让模型把心里话说出来**
找到了问题所在,研究者提出了一套解决方案,叫OMNI-CATALYST,翻译过来大概是"全模态催化剂"的意思。
这个方法的核心逻辑其实很朴素:既然文字token比非文字token更容易被用上,那就让模型自己先把非文字信息翻译成文字,再拿这段文字去配合原始输入一起生成答案。
具体操作分两步,研究者管这个流程叫"先感知再推理"。第一步,让模型先专门描述一下它从音频或视频里听到、看到了什么,生成一段文字描述。第二步,把这段自己生成的文字描述,和原始的音频视频输入一起喂给模型,再让它正式回答问题。注意这里的关键是原始的音频视频信息并没有被扔掉,文字描述只是作为一条额外的通道加进去,而不是替代品。
这就好比你让一个精通外语但不太会表达的朋友帮你翻译一份重要文件,他心里其实完全理解内容,但直接让他口述翻译经常词不达意。这时候你换个办法,先让他把理解的内容写成笔记,哪怕写得不完美,再让他拿着这份笔记去正式汇报,他汇报的质量立刻就上去了。原始文件你没扔,笔记只是多出来的一条帮助他组织思路的辅助线。如果你跳过写笔记这一步,直接要求他脱口而出,信息的流失率会高得多。
论文测试了七种不同的全模态模型,涵盖了Qwen2.5-Omni、Gemma-4、OneLLM等多个系列,在多个基准测试上,加上这个方法之后,平均性能提升了7.29%。而且不只是整体数字好看,模态偏好也变得更均衡了,模型不再只盯着一种输入信息死磕,而是能把视觉和听觉的信息都用起来。
在AVHBench和OmniBench这两个专门考察视听协同推理能力的测试集上,对比一个叫CoM的方法(它把推理过程拆成规划者、推理者、决策者三个角色),CoM带来的提升只有0到3个百分点,而OMNI-CATALYST带来的提升是5到7个百分点,而且统计显著性达到了p<0.001这个很高的置信水平。
这个方法不仅在视觉加音频的组合场景里好用,研究者还把它扩展到了fMRI脑成像数据、IMU惯性传感器数据、点云数据这些比较小众的模态上,结果依然有效,尤其是对本来表现就比较弱的模态,比如fMRI和IMU,提升尤其明显。这说明"先把非文字信息翻译成文字再用"这个思路,并不是针对某一种特定模态的小技巧,而是一个具有普遍性的解法。
**训练进去比临时抱佛脚更有效**
OMNI-CATALYST最初是个不需要额外训练、推理时直接用的方法,但研究者没有止步于此,他们进一步探索能不能把这种"先描述再回答"的能力,直接训练进模型的参数里,让模型养成习惯。
他们借用了三种已有的自我训练策略,分别叫STaR、R3V和SD-Zero,原本这几种方法是用来让模型自己生成推理过程并从中学习的,研究者把它们改造了一下,用来训练模型生成模态描述的能力。
实验结果里有个挺耐人寻味的发现:专门训练模型"学会感知"(也就是生成准确的模态描述)这件事本身,带来的提升比直接训练模型"学会用描述去推理"更大,提升幅度分别是2.8%和2.0%。这有点反直觉,因为后者看起来才是最终要用的能力,前者只是个中间步骤。但数据说话,把感知这一步练扎实了,反而比直接冲着最终目标练效果更好。
这让人想起学一门乐器时,很多老师不会一上来就让你练完整曲目,而是先花大量时间练音阶和手型。看起来是在做无关的基本功,但手型练扎实了,后面弹曲子反而进步更快。如果跳过这一步直接硬啃整首曲子,短期内好像进度更快,但音准和节奏的毛病会在后面不断冒出来,反而拖慢整体进度。
而且,把训练好的模型再叠加上推理时的OMNI-CATALYST,还能再拿到5到6个百分点的额外提升,说明训练和推理时的策略并不互相冲突,而是可以叠加使用的两层保险。
**从注意力地图里看见证据**
为了确认这套方法到底是怎么起作用的,研究者还做了一组可视化分析,把模型在不同阶段的注意力分布画了出来。
拿论文里那只猫的例子来说,问题是"这只猫在做什么",答案选项里有"猫在挠人的手"和"猫在打呼噜"两个选项。直接回答的时候,模型的注意力几乎全在视觉画面上,对音频里那句女人说的"我爱你"基本没怎么关注,结果选错了答案。但经过知识提取这一步之后,模型对音频部分的关注明显增多,并且把音频信息转化成了文字。到了最后正式回答的阶段,模型的注意力变得视觉和听觉都兼顾,最终选对了答案:猫在打呼噜。
研究者还用TMA这把尺子对原始的注意力图做了一次过滤,筛掉那些虽然被关注但实际跟答案关系不大的区域,过滤之后的图像清晰多了,留下来的恰好是跟猫的爪子、猫打呼噜这些细节真正相关的区域。这说明注意力分布到哪里和信息真正对答案有用是两件不完全一样的事,TMA能帮我们把后者单独挑出来看。
**写在后面**
读这篇论文最让我意外的地方,不是模型会出错,而是出错的方式这么像人。我们平时说"茶壶里煮饺子,有货倒不出",用在这里竟然毫无违和感。AI研究往往给人一种印象,好像模型的毛病都是训练数据不够、参数不够大这类硬件层面的问题,但这篇论文告诉我们,有时候问题根本不在"有没有知识",而在"知识能不能走到嘴边"。这是认知科学里早就讨论过的概念,感知和表达之间本来就不是无缝衔接的两个环节,人类自己也经常知道却说不出来,只是我们没想到AI也会在同样的地方卡壳。
另一个让我反复琢磨的细节是,文字token天生就比非文字token更容易获得模型的注意力,哪怕这段文字毫无意义。这意味着当前这一代全模态模型,骨子里还是个"语言中心"的系统,图像和声音更像是被语言模型勉强接纳的外来者,而不是真正平起平坐的伙伴。这也许解释了为什么做全模态的公司这么多,但真正把多种感官信息融合得浑然一体的模型,至今还很少见。
这篇论文没有解决的问题是:为什么文字token天生就比非文字token更受青睐,这种偏好到底是预训练数据的分布导致的,还是模型架构本身的语言中心设计导致的?论文作者自己也坦承这是未解之谜。如果有一天我们能从根上改掉这种偏科,模型是不是就不再需要"先翻译成文字再回答"这道中间工序了?
Q&A
Q1:OMNI-CATALYST是什么?
A:这是论文提出的一种方法,让全模态AI模型在回答问题前,先自己生成一段关于音频或视频内容的文字描述,再结合原始输入和这段描述一起生成答案,从而让非文字信息更容易被模型用上,平均能带来7.29%的性能提升。
Q2:知道但说不出来问题具体指什么?
A:指全模态AI模型虽然能正确感知并提取出图像、音频里的关键信息,但在直接回答问题时却经常用不上这些信息,导致答错,而一旦让它先用文字描述出感知内容,再回答同样的问题,往往就能答对。
Q3:Token级模态对齐(TMA)是用来做什么的?
A:它是论文提出的一种细粒度衡量指标,用来计算输入模态里每个具体信息单元和模型最终生成答案所用信息之间的相似程度,数值越高说明这段输入越容易被模型用进最终回答里,帮助研究者定位模型"知道却说不出"的具体环节。







