有一个场景你可能完全没想到会成为AI的难题。
一个美食博主拍了十分钟的吃播视频，中间讲了句"这就是跑步者的秘密，我们早上跑一次，晚上再跑一次"，画面上同时出现他在小路上奔跑的镜头。如果你问AI"这个博主靠什么策略做到吃很多也不会胀肚子",它需要先在十分钟的音频里找到这句关键台词,再在视频画面里确认对应的跑步场景，两者缺一个都答不对。
听起来不难对吧？但现在主流的音视频大模型，面对这种问题时普遍会翻车。
原因说起来有点反直觉。你可能以为，模型越"全知全能"，把整段视频和音频一股脑塞进去让它自己消化，效果应该越好。但事实恰恰相反：当一段视频长达十分钟甚至更久，模型需要的那句关键台词、那个一闪而过的画面细节，会被淹没在海量无关信息里。模型找不到真正重要的那几秒钟，只能靠语言习惯去"蒙"答案，或者干脆只用其中一个模态糊弄过关。这就是来自加州大学戴维斯分校和Adobe Research团队在最新论文里揭示的核心矬病：
**现有的全模态大模型本质上是"被动接收"模式，它们一次性吞下整段音视频,却没有能力在推理过程中主动回头去听、去看。**
这篇论文给出的解法叫OmniSeek，一个让AI学会"边想边找证据"的框架。
当AI只会囫囵吞枣，会丢失什么
先说清楚这件事到底难在哪。
Omni-LLM
*即全模态大语言模型，指能够同时理解文字、图像、视频和音频等多种输入形式的AI模型*
目前市面上的Qwen-Omni系列、MiniCPM-o等模型，处理音视频问题时走的是单次编码路径：把整段视频和音频一次性转换成模型能理解的token序列，然后让模型在这个固定的上下文里做推理。
这就好比让你去图书馆查一本资料，但图书馆的规则是——你只能在门口扫一眼整个书架的照片，然后凭记忆回答问题，不许走进去翻书、不许回头再看一眼书名。书架上书越多，你记住的细节就越模糊，关键信息被淹没的概率就越大。如果不允许"回头看"，你能做的事只剩下猜，或者干脆编一个听起来合理的答案。这正是现有全模态大模型在长视频、多模态交织场景下频繁出错的根本原因：**它们没有"回头翻书"的能力。**
现有的一些改进方法试图给AI加上思维链
*即Chain-of-Thought，让模型在给出最终答案前先生成一步步的推理过程，而不是直接跳到结论*
来增强推理能力，但这些方法几乎都局限在纯文字层面打转，它们要么死守着最初那份固定的上下文，要么把检索到的证据转成文字描述后就扔掉原始的音频视频信号，再也不会回去看一眼原始画面或听一遍原始声音。换句话说，这些方法给AI的只是"回忆的能力"，而不是"重新去看一眼的能力"。这两者的差距，恰恰是OmniSeek要补上的那一块。
OmniSeek:让AI学会主动"打电话问证据"
OmniSeek的核心设计思路，是把证据获取这件事,变成推理过程本身的一部分。
具体怎么做？模型会在一个循环结构里反复运转：先想
*think，模型内部生成的推理文字，相当于AI在心里琢磨"接下来该查什么"*
，再调用工具
*tool_call，模型主动发出的指令，告诉系统"请给我某个时间段的音频"或"请给我某个时间段的视频"*
，然后观察返回的结果
*observe，工具执行后真正的音频片段或视频片段被塞回模型的上下文里,成为新的证据*
，如此循环，直到模型自己判断证据已经够用，才输出最终答案。
这套设计里有个很关键的细节：**音频和视频的检索是彼此独立、互不耦合的两个工具。**
模型可以先调用get_audio_clip听一段声音，然后调用get_video_clip去看一段完全不同时间点的画面，不需要两者绑在一起检索。这就像侦探破案时，先去问证人一句话，再去另一个完全不相关的地点查看监控录像，证人证词和监控画面不需要来自同一个时间同一个场景，只要能互相印证就行。如果强制把音频视频检索捆绑在一起，模型就会错过那种"先听到一个关键词，再去很远的画面里找对应证据"的多跳推理场景——而现实世界里的问题恰恰经常是这样,线索散落在不同时间不同模态里。
回到开头那个吃播博主的例子。OmniSeek处理这个问题时，先听了博主提到"吃很多却不胀肚子"的那段音频，然后看了一眼他吃的食物画面确认食量，接着又去视频末尾找到跑步场面,最后听清楚了"早上跑一次晚上再跑一次"这句关键台词，四次工具调用串成了一条完整的证据链，才给出"双次跑步训练法"这个正确答案。这个过程里，模型自己决定了听哪一段、看哪一段、以及要不要继续查下去,没有人提前写好脚本告诉它该怎么走。
怎么教AI学会这套本领：造一个17万条轨迹的训练场
一个新能力要让模型学会，光靠设计架构是不够的，得先给它看足够多的"示范"。
研究团队为此搭建了一个三阶段的数据工厂，产出了一个叫OmniTraj-170K的数据集，里面装着169725条多轮推理轨迹，覆盖39797个视频。
第一阶段做的事是把视频和音频在时间轴上精确对齐。
视觉这边，先用PySceneDetect
*一个基于Python和OpenCV的开源工具，专门用来检测视频里的镜头切换点*
把原始视频切成细碎的镜头,再把相邻的镜头合并成大约15秒一段的场景,避免把一个连贯的动作硬生生切断。然后让大模型给每个场景生成带时间戳的详细字幕,严格要求只描述画面里真实可见的内容,不许靠外部知识瞎猜。音频这边则直接用语音识别转录文本,或者用专门的音频描述模型生成带时间戳的声音描述。
第二阶段是出题环节,但这个出题过程设了一道硬性门槛:每一道题目必须同时需要音频证据和视频证据才能回答,单靠一个模态是答不出来的。
这个限制听起来简单,但背后的用意很深。如果不设这条规矩，大模型出题时很容易偏向那种只用一个模态就能回答的"懒惰题目",训练出来的模型也会跟着学会抄近道——反正单模态就能蒙对答案,何必费力去听又去看。研究团队还要求出题模型额外规划一条证据链,列出2到7个证据片段,每个片段标清楚是音频还是视频、精确的时间窗口、以及对应的文字内容，而且这些片段的排列顺序是按照"人类侦探会怎么查"的逻辑顺序排的,不是按时间先后硬排。
第三阶段把这些证据链组装成完整的推理轨迹。这里有个很细致的处理:工具调用和观察结果是严格按照第二阶段生成的证据链确定性构造出来的,大模型只负责生成中间的"思考"文字,把这些确定的动作和观察串联成一段读起来通顺、逻辑连贯的推理过程。这样做能大幅减少凭空编造的内容,因为真正的"事实部分"（调用哪个工具、查哪个时间段）是固定死的,模型只需要负责"怎么把这些串成一个人类能听懂的思考过程"。
数据集统计显示,76.1%的轨迹需要两次工具调用，剩下23.9%需要三次或更多。证据片段大多集中在3到10秒之间，分布横跨视频从头到尾的各个时间位置，这意味着模型在训练中见过各种难度和各种位置的检索目标。
三阶段训练:从模仿到自我探索再到攻克难题
光有数据还不够,怎么训练模型用好这些数据,是另一个值得细说的问题。
**单纯靠监督学习模仿这些轨迹，会让模型学会了格式却学不会真本事。**
这种现象在论文里被称为"对齐税"
*alignment tax，指在用监督数据微调模型时,模型为了拟合这套固定格式和行为模式,反而牺牲了原本的泛化能力和判断力*
，具体表现是模型学会了套用think-tool_call-observe这套语法,但骨子里可能还是在偷懒走单模态捷径,只是披上了多轮工具调用的外壳。
针对这个问题,研究团队设计了三阶段训练策略。
第一阶段是冷启动监督微调,目标很克制,只是让模型学会这套交互语法和基本的多轮行为模式,不追求精确。有意思的是,训练数据里只有10%是真正的多轮工具调用轨迹,剩下90%还是标准的单轮问答,这是为了防止模型在学新花样的同时忘了老本行。
第二阶段是强化学习的广泛探索阶段。这时候不再给模型看预先写好的推理轨迹,而是扔给它一批只有标准答案、没有示范过程的题目,让模型自己去闯、自己去试错，用三类规则化的奖励信号引导它：答对了给分、格式对了给分、以及只有在成功调用工具并且答对的情况下才给的"工具使用奖励"。这个工具使用奖励的设计很巧妙，它不奖励瞎调用工具的行为,只奖励真正帮上忙的调用，避免模型为了拿分而乱按按钮。
第三阶段是针对难题的专项强化。研究团队把第二阶段训练出的模型拿去重新测试OmniTraj-170K，专门挑出模型答错的那些难题,构建一个8000条的高难度子集重新训练,并且把一次探索的采样数量从8条轨迹翻倍到16条,给模型更大的试错空间。
怎么防止AI"假装"用了两个模态:音视频必要性奖励
这里有一个很尖锐的问题值得单独说清楚。
如果训练时只看"答对了没有",模型完全可能学会一种投机行为:表面上调用了音频和视频工具,摆出一副认真分析的样子,实际上答案主要还是靠单一模态甚至语言先验蒙出来的。这种现象论文里叫"幻觉式关联"
*hallucinated grounding，指模型表面上展示了调用多个模态证据的行为痕迹,但实际推理过程并没有真正依赖这些证据得出答案*
,它比完全不用工具更隐蔽,因为从外表上根本看不出来。
**只看最终答案对不对的奖励机制,是分辨不出这种投机行为的。**
为了揪出这种"装样子"的轨迹,研究团队设计了一个叫音视频必要性奖励的机制,通过注意力遮蔽
*attention masking，一种在不重新生成答案的前提下,人为屏蔽模型对某部分输入的关注,从而测量这部分输入对输出结果的真实影响程度*
的方式来检测模型是否真的依赖了两个模态。
具体做法是这样的:拿到模型已经生成好的一条完整推理轨迹后,不需要重新生成,只需要再做两次"陪跑"式的前向计算。第一次把音频部分的注意力权重清零,看模型生成同样文字的概率会掉多少;第二次把视频部分清零,再看一次概率下降幅度。如果某个模态被清零后,模型生成这段文字的概率几乎没变化,那说明模型压根没真正依赖这个模态，只是摆了个样子。
这个检测过程最后用了一个很关键的数学操作:取两个模态下降幅度中较小的那个值作为最终得分，而不是简单平均。
这个设计的用意需要仔细说一下。如果简单地把两个模态的依赖度加起来平均,就会出现一种漏洞:模型对视频依赖度很高、对音频依赖度几乎为零，平均下来看着还不错,但实际上这条轨迹根本没真正用上音频。这就像一道菜要求同时放盐和糖才算合格,但你不能靠多放盐来弥补忘了放糖这件事,盐放得再多,这道菜依然是"没放糖"的菜。取两者中较小的值,相当于设了一道逻辑"和"门，只有两个模态都真正被依赖,这条轨迹才能拿到高分。
这套机制还有个计算上的好处:因为模型原本生成答案时的那次完整计算结果已经有了,所谓的两次陪跑计算是不需要梯度的轻量级操作，不用额外跑新的采样轨迹，省了不少计算资源。
效果到底有多大差距
说了这么多设计,接下来看实验数据能不能撑得住这些想法。
研究团队把OmniSeek建立在Qwen3-Omni-30B-A3B-Instruct这个底座模型上,在十个全模态理解基准和四个通用视频理解基准上做了系统评测。
在长视频和复杂场景上，提升最为明显。在MMOU和LVOmniBench这两个专门考验长视频理解的榜单上,OmniSeek分别拿到70.4%和44.2%,比底座模型Qwen3-Omni-Instruct高出16.3个百分点和8.4个百分点。
**16个百分点的提升是什么概念？意味着原来十道长视频题答对不到六道,现在能答对超过八道。**
在VideoHolmes这类考验侦探式多线索推理的任务上，OmniSeek拿下74.6%,比第二名开源模型高出不少，比纯文字思维链方法OmniVideo-R1的62.9%高出11.7个百分点。这个对比特别值得留意,因为OmniVideo-R1也是靠思维链增强推理,但它的推理只在文字层面兜圈子，碰到真正需要反复查证原始音视频信号的深度多跳任务时,就显得力不从心了。
论文里还做了一个消融实验,直接对比纯文字推理和OmniSeek的多轮多模态工具调用。两者接受同样的两阶段强化学习训练,唯一的区别是文字推理版本不允许调用任何工具,只能靠写更长的内心思考来硬撑。结果显示,纯文字推理在OmniVideoTest上只提升到56.0%，而OmniSeek达到69.5%,差了13.5个百分点。这组对比干净地证明了一件事:**光靠写更长的"心里话"是补不上缺失的证据的,真正管用的是回头去看一眼、听一遍。**
研究团队还分析了不同任务偏好的工具调用次数。像JointAVBench这种跨模态关联题,调用3次工具时准确率就冲到80.8%的峰值；而VideoHolmes和MMOU这类长视频深度推理任务,调用5次以上工具时准确率才达到峰值的75.9%和73.3%。
这个发现挺有意思的,它说明模型并不是机械地套用固定次数的检索流程,而是真的学会了"看情况办事":简单问题早点收手,复杂问题多查几轮。这就像一个经验丰富的检察官审案子,简单的治安纠纷翻两页卷宗就能下结论,复杂的连环案件要把现场勘查记录、证人证词、监控录像反复核对好几轮才敢签字,如果不分青红皂白每个案子都走一样的流程,简单案子会被拖慢,复杂案子又查得不够深。
一个必须承认的短板
这个方法不是没有代价的,长视频场景下存在一个结构性的瓶颈。
问题出在音频编码上。视觉输入可以通过限制最大帧数来控制长度,但音频是连续信号,时间越长,token数量就线性增长。按照底座模型16kHz采样率下大约每秒12.5个token的编码速率算,两小时的音频会产生接近9万个token，直接超出模型32K的上下文上限。
一旦上下文溢出,研究团队观察到模型会出现一种很诡异的失灵状态:它不再调用工具,而是陷入反复的"思考"循环,甚至在内心思考里凭空编造感官证据,比如编造"音频里有个声音在说……"这种根本没发生过的内容,始终走不到真正调用工具或给出答案这一步。
这个现象其实挺值得玩味的，它说明这套系统的"主动查证"能力是建立在一个前提之上的：**上下文窗口必须留有余地让模型完成至少一轮完整的查询。**
一旦这个前提被打破,系统不是优雅地退化,而是整个崩溃成胡编乱造。这提示着,未来要真正做到处理几个小时的长视频,恐怕不能只靠扩大上下文窗口这一条路,可能还需要像压缩静音片段、合并冗余声学特征这类更精细的处理手段。
写在后面
读到OmniSeek的音视频必要性奖励设计时,有个念头冒出来:这其实是在给AI的"诚实度"打分,而不只是"正确度"。
一个模型可以靠蒙对答案拿满分,这件事在机器学习里太常见了,大家往往也默许这种情况,只要结果对就行。但OmniSeek的设计者显然觉得这不够,他们想要的是模型真的"用脑子"去听、去看,而不是碰巧蒙对。这种对"推理过程本身是否诚实"的较真,其实比单纯追求准确率更难做,也更容易被忽视。
另一个值得留意的细节是,数据集构造时严格要求每道题必须同时需要音频和视频证据，这个设计选择看似只是出题规则,实际上塑造了整个模型后续学习到的行为模式。**出题人定下的那道门槛，最终变成了模型学会的那种"习惯"。**
这让人想到,很多AI系统的"性格缺陷"，可能根源不在模型架构,而在于训练数据设计者当初定下的那些不起眼的规则。
长视频处理崩溃时模型编造感官证据这件事，细想挺让人不安的。它不是答错了,它是编造了一个根本不存在的听觉画面,还用一种挺自信的语气说出来。这种"自信地编造"的现象,或许才是未来需要更警惕的东西。
