你有没有想过这样一个问题：一个AI模型，如果同时给它看视频画面、又让它听视频里的声音，它是不是就自动具备了"又听又看"的理解能力？
听起来理所当然对吧。毕竟人类就是这么干的，我们看电影时眼睛看画面、耳朵听对白和配乐，两种信息自然融合成一个完整的理解。所以给AI同时输入音频和视觉信号，它应该也能做到类似的事情。
但2026年这篇来自北京大学和阿里巴巴团队的论文，狠狠地给这个想当然的假设泼了一盆冷水。
研究者们做了一个很简单的实验：拿掉视频里的音频，只给一个叫Qwen3.5-Plus的模型看画面，让它去回答一些专门测试"音视频联合理解"能力的题目。结果呢？在WorldSense、Daily-Omni这些主流的音视频测评基准上，这个纯看画面不听声音的模型，居然能拿到57.85%到68.76%不等的准确率。
这意味着什么？
这些号称测试"音视频联合推理"能力的题目，很大一部分根本不需要听声音就能蒙对答案。它们考的其实是模型单独看视频的理解能力，声音只是锦上添花的辅助信息，而不是必需品。
这就好比你去参加一场号称测试"中英双语能力"的考试，结果发现题目大部分只用英语就能答对，中文部分形同虚设。那这场考试测出来的，根本不是你真正的双语水平。
**这篇论文的核心贡献，就是先指出了这个长期被忽视的测评漏洞，然后亲手打造了一套真正需要"用耳朵加眼睛一起想"才能解决的测试体系，外加配套的训练方法。**
这个发现为什么重要，得先从一个更根本的问题说起：现在的全模态大模型，到底强在哪儿，又弱在哪儿？
**全模态大模型的"虚假繁荣"**
近几年，像Qwen-Omni、Nemotron这样的全模态模型层出不穷，它们号称能同时理解音频、视觉和文字，仿佛打通了人类感知世界的所有通道。
全模态大模型*：指能够同时处理音频、图像、视频、文本等多种模态输入的大语言模型，试图模拟人类综合运用视觉听觉等多感官理解世界的能力。
但问题是，这些模型究竟有没有真正学会把不同感官的信息"拧"在一起进行推理，还是说它们只是分别在每个模态上表现不错，拼凑出了一种"看起来很全面"的假象？
论文里举了一个特别生动的例子。假设你在看一段视频，视频里一个叫Diane的人提到"妈妈今年87岁生日"，同时画面里闪过一本2023年的日历，紧接着镜头又给了一个戒指的特写，上面刻着1956年的字样。现在问题来了：戒指上刻的年份和Diane妈妈的出生年份，相差多少年？
这道题没法只靠听声音解决，因为你不知道现在是哪一年。也没法只靠看画面解决，因为你不知道妈妈今年多大岁数。你必须把两个信息拼起来：2023减去87等于1936，这是妈妈的出生年份，然后1956减1936等于20，这才是答案。
这才是真正的音视频联合推理。缺了任何一个信息源，这道题都无解。
但现实情况是，市面上大多数测评题目并不是这样设计的。它们往往只是把音频和视觉内容"摆"在一起，而不是让两者形成互相依赖的证据链。这就导致了一个很尴尬的局面：模型可能压根没学会真正的跨模态联合推理，但在测评上依然能拿到不错的分数，因为题目本身留了太多"单靠一个模态就能蒙对"的漏洞。
**这就像一个学生，考试时虽然没复习数学的应用题部分，但试卷里恰好有一半题目可以靠套用公式蒙混过关，结果成绩单上写着"数学能力优秀"。成绩单骗了所有人，包括可能也骗了学生自己。**
如果不解决这个问题，会发生什么？
整个领域会在一个虚假的基准上自我陶醉，训练出来的模型看似全知全能，实则在真正需要跨模态深度整合的场景里一塌糊涂。比如医生看诊疗视频时既要听医生的口头诊断又要看检查报告画面，比如安防系统既要分析监控画面又要辨别异常声响，这些真实场景里的联合推理能力，恰恰是现有测评无法衡量、现有训练也无法针对性提升的盲区。
**OmniReasoningBench：一道必须用"两只耳朵"才能解开的题**
研究团队的第一步，是重新设计一套测评基准，起名叫OmniReasoningBench。
这套基准包含1150道题目，分为两大类任务：一类叫"视频内推理"，考的是能不能把视频里不同时间点出现的音频线索和视觉线索串联起来；另一类叫"视频外推理"，考的是能不能把从视频里学到的知识和规则，迁移应用到一个全新的场景或图表上。
视频内推理*：指答案所需的证据分散在视频内部不同的音频和视觉片段中，需要像侦探破案一样把多个时间点的线索串联起来才能得出结论。
视频外推理*：指视频中讲解的某个规则或方法，需要应用到视频之外的新情境、新图表或新数据上才能解答。
为了确保这些题目真正需要音视频联合证据，而不是单靠一个模态就能投机取巧，研究团队设计了严格的筛选机制。每道候选题目都要经过四种输入条件的测试：只给文字不给音视频、只给音频、只给视觉、音频加视觉一起给。只有在"只给文字"和"只给单一模态"这三种条件下模型都答错，而"音频加视觉"条件下能答对的题目，才会被保留下来。
这套筛选逻辑听起来有点像考试时防作弊的监考流程，必须保证这道题真的没法作弊取巧，才能正式收录进题库。
效果立竿见影。论文里给出的数据显示，当Qwen3.5-Plus模型在没有音频的情况下回答视频内推理题目时，多选题准确率直接从联合输入时的42.7%暴跌到17.2%，开放式问答更是从41.9%跌到8.7%。这个落差远比在WorldSense、Daily-Omni这些旧基准上观察到的落差要大得多。
论文还做了一个更有意思的实验，用来证明音视频联合推理带来的提升，不是简单地把"音频能答对的题"和"视觉能答对的题"做个并集就能解释的。他们测试了Qwen3.5-Omni-Plus、Gemini-3.1-Pro、Gemini-3.5-Flash三个模型，分别记录每个模型在单独用音频、单独用视觉、以及音视频联合三种条件下的得分，然后计算一个"单模态并集预言机"，也就是只要音频或视觉任意一个能答对就算这道题被解决了的理论上限。
结果发现，联合输入的实际表现，比这个理论上限还要高出9.9到26.7个百分点。这说明真正发生联合推理的那一刻，产生的不是简单的信息叠加，而是某种"化学反应"：两个本来各自残缺的线索，碰在一起之后能推导出单独任何一方都推不出的结论。
这就好比拼图游戏里，你手里有两片看起来毫无关联的碎片，单独看哪一片都认不出画的是什么，但当你把它们正确拼接在一起时，突然就看清了画面中央那只猫的轮廓。两片碎片单独存在的价值几乎为零，拼在一起的价值却远超两者简单相加。
OmniReasoningBench总共覆盖了19种具体的任务类型，比如背景音乐理解、因果推理、计数、空间推理、时序推理、案例分析、跨场景迁移、设计优化等等，每道题目都配有详细标注的"证据链"，清楚地说明答案需要用到哪些具体的音频片段和视觉片段，以及它们之间的时间戳对应关系。
**OmniQA数据引擎：怎么批量造出这种"烧脑题"**
光有一套测评标准还不够，因为要训练出真正擅长音视频联合推理的模型，你需要大量的训练数据，而这些数据同样必须具备那种"证据互相依赖"的特性，不能是随便拼凑的音频文字视觉素材。
于是研究团队开发了第二个核心成果，叫做OmniQA数据引擎。这是一套自动化的流水线，专门用来批量生产这种高质量的证据绑定式问答数据。
整个流程大致分为四步。第一步是字幕生成，用Gemini-3.1-Pro这样的模型先把视频切分成一个个事件片段，然后分别给每个片段的视觉内容和音频内容打上带时间戳的详细描述。第二步是问题生成，让另一个模型Qwen3.8根据这些描述和预设的任务类型，生成具体的问题、选项、参考答案，以及一条完整的推理步骤链条，清楚标明哪一步依赖哪个时间戳的音频或视觉线索。
第三步是验证环节，这一步堪称整个流程里最关键的质量把关。系统会对每道候选题目做结构性检查，确认推理链条里引用的每个时间戳证据是否真实存在、是否真的支持对应的结论。更重要的是，它会用前面提到的那套"四种输入条件测试"来排查投机取巧的漏洞：只有在纯文字、纯音频、纯视觉这三种受限条件下都答错，而联合输入条件下能答对的题目，才会被正式收录。
第四步是生成完整的思考过程文本，供后续的监督微调训练使用。这一步会把验证通过的证据链，扩写成一段带有观察、中间推理、多选项比较、数值计算等完整环节的"思维独白"，风格类似人在解题时内心的自我对话。
**这套流水线本质上像是一条自动化的高考命题流水线，但它比人类命题老师还要苛刻，因为它会先假设自己是个爱投机取巧的考生，用尽各种单一信息源去尝试蒙混过关，只有彻底蒙混不过去的题目，才会被放进最终的题库。**
通过这套引擎，研究团队产出了两份训练数据集：一份叫OmniReasoning-SFT-112K，包含112463条带完整思考过程标注的训练样本，用于监督微调阶段；另一份叫OmniReasoning-RL-19K，包含18991条经过人工复核的问题，保留了结构化的音频和视觉线索标注，专门用于强化学习阶段。
监督微调*：简称SFT，指用大量带标准答案和推理过程的样本直接训练模型模仿这种解题方式的训练阶段。
强化学习*：简称RL，指不直接告诉模型标准答案怎么写，而是让模型自己生成答案，再根据答案质量给予奖励或惩罚信号，让模型逐步学会产出更好答案的训练方式。
这些训练数据覆盖了游戏、体育、旅行、美食、手工艺、科技、艺术、社会文化等八大内容领域，视频时长从几分钟到三十分钟以上不等，确保了训练素材的多样性和代表性。
**Modality-Factored Self-Distillation：教模型分辨"这个线索到底是谁贡献的"**
有了测评标准和训练数据，接下来要解决的是方法论层面最棘手的问题：怎么设计一种训练算法，让模型真正学会做跨模态的联合推理，而不只是记住了训练集里的套路？
这里要先说一下现有强化学习方法的局限。目前主流的方法比如GRPO，核心逻辑是看模型生成的答案最终对不对，根据正确与否给出一个整体性的奖励信号，但它完全不区分这个正确答案到底是靠音频线索得出的、还是靠视觉线索得出的、还是真正融合了两者。
GRPO*：全称Group Relative Policy Optimization，一种强化学习训练方法，通过比较同一问题下多个采样回答的相对优劣来计算奖励信号，从而指导模型优化。
这就产生一个隐患：一个只靠单一模态投机取巧蒙对答案的模型，和一个真正做了跨模态融合推理的模型，在GRPO这种只看结果的奖励机制下，可能拿到完全相同的奖励。久而久之，模型学到的不是"怎么融合音视频信息"，而是"怎么找到任意一个能蒙对答案的捷径"。
研究团队由此提出了第三个核心贡献，叫做Modality-Factored Self-Distillation，简称MFSD。这个方法的灵感来自一种叫RLSD的技术，RLSD的基本思路是让模型在生成答案的同时，用一些"特权信息"去重新给这个答案的每个词打分，看看给了这些额外信息之后，模型对自己说出的每个词的信心有没有提升，提升了多少，再把这个提升幅度转化成训练时的奖励权重。
RLSD*：全称Self-Distilled RLVR，一种在线自蒸馏强化学习方法，通过给模型额外的特权上下文信息，观察模型对自己生成的每个词的置信度变化，并据此调整训练时的奖励强度。
但是RLSD原本的设计里没有考虑跨模态交互这一层。MFSD的创新之处在于，它不是只给模型一种"特权信息"，而是设计了四种不同的信息组合情境：什么线索都不给、只给音频线索、只给视觉线索、音频视觉线索都给。然后让同一个模型在这四种情境下分别对自己生成的每一个词重新打分，观察置信度的变化。
这四组分数背后藏着两种关键信号。第一种叫"联合线索增益"，衡量给了音视频两种线索之后，模型对这个词的信心整体提升了多少。第二种更巧妙，叫"交互增益"，具体算法是用联合线索带来的提升，减去单独音频带来的提升，再减去单独视觉带来的提升。
如果这个交互增益是正数，说明音频和视觉两种线索放在一起产生的效果，比它们各自单独起作用之和还要大，这才是真正意义上的"1加1大于2"的跨模态融合。如果交互增益接近于零，说明联合线索带来的那点提升，其实靠单一模态就能完全解释，根本谈不上什么真正的融合。
**这就像评价一道菜的味道，如果酱油和醋单独加都能让菜变咸变酸，但两者同时加入之后产生了一种全新的复合鲜味，这种鲜味远超单独加任何一种调料的效果，那才叫真正的"调味融合"。如果两者混合后的味道，不过是咸味和酸味的简单叠加，那其实没有发生真正意义上的风味融合，顶多算是同时放了两种调料而已。**
MFSD正是利用这个交互增益信号，对模型生成的每一个词进行更精细的奖励分配：那些真正依靠跨模态融合才得以提升置信度的词，会获得更大的正向奖励和更小的惩罚力度；而那些仅凭单一模态线索就能解释清楚的词，主要靠联合线索的整体支持来获得适度的奖励。
为了防止联合增益和交互增益这两个信号的数值量级差异过大导致训练不稳定，论文还设计了一套自适应的尺度校准机制，用滑动平均的方式动态调整两个信号的相对权重，确保它们在合并时能够公平地共同影响最终的训练信号。
**实验结果：数字不会说谎**
说了这么多方法论，最终还是要看实际效果。
研究团队以Qwen3-Omni-30B-A3B-Thinking作为基础模型，先用112463条SFT数据做监督微调，再分别用GRPO、RLSD、MFSD三种强化学习方法，在相同的训练预算下（150步、每题采样8个回答、每次更新256条生成回复）进行对比实验。
| 方法 | OmniReasoningBench | OmniVideoBench | LVOmniBench | Video-MME-v2 | Video-MMMU |
|---|---|---|---|---|---|
| 基础模型 | 33.2 | 37.2 | 37.7 | 36.5 | 68.3 |
| 加SFT | 36.1 | 47.0 | 40.2 | 40.3 | 73.7 |
| 加GRPO | 38.3 | 44.8 | 39.8 | 39.1 | 72.9 |
| 加RLSD | 39.2 | 45.4 | 40.1 | 39.8 | 72.0 |
| **加MFSD** | **42.5** | **50.0** | **44.7** | **44.0** | **74.4** |
这张表格里最值得玩味的细节，是GRPO和RLSD在OmniReasoningBench这个新基准上确实比纯SFT有所提升，但在其他通用视频理解基准上，它们的表现反而比纯SFT还要差。也就是说，这两种只看结果不看过程的强化学习方法，让模型学会了针对特定题型的"应试技巧"，却牺牲了更广泛的视频理解能力。
而MFSD是唯一一种在所有基准上都稳定超越SFT基线的方法，在OmniReasoningBench上比SFT提升了6.4个百分点，在其他基准上的提升幅度在0.7到4.5个百分点之间。
最终形成的模型叫做OmniReasoning-30B-A3B，相比它的基础模型Qwen3-Omni-30B-A3B-Thinking，在OmniVideoBench上提升了12.8个百分点，达到50.0%；在OmniReasoningBench上提升了9.3个百分点，达到42.5%。同时它在LVOmniBench、Video-MMMU、Video-MME-v2这些长视频和通用视频理解基准上也分别取得了6.1到7.5个百分点的提升。
不过论文也很坦诚地指出，和目前最强的闭源模型Gemini-3.7-Flash的57.6%相比，还有不小的差距，说明音视频联合推理这件事，远没有到可以宣布"解决"的地步。
论文里还收录了大量具体的案例对比，展示基础模型和训练后模型在面对同一道题时思考过程的差异。有一个例子特别能说明问题：一道关于两位球鞋博主分别拿着什么颜色球鞋说话的题目，基础模型把"谁拿着什么鞋"这个关键的视听对应关系搞反了，最终答错；而训练后的模型则清晰地在思考过程里重新核对了每个时间点谁在说话、谁手里拿着什么颜色的鞋，最终给出了正确答案。这种差异不是靠运气，而是训练过程真正强化了模型对多模态证据进行细致核对的习惯。
**写在后面**
读完这篇论文，让我印象最深的不是那张漂亮的实验结果表格，而是论文开头那个看似不起眼的发现：用纯视觉输入去跑现有的音视频基准测试，居然能拿到接近七成的准确率。
这个发现之所以让我久久回味，是因为它揭示了一种在AI研究中很容易被忽略的陷阱，那就是测评指标和真实能力之间可能存在巨大的鸿沟。一个基准测试即使名字里写着"音视频联合理解"，哪怕它确实包含了音频和视频两种输入，也不代表它真的在测试联合理解能力。设计一道好题，远比收集一堆素材难得多。
另一个让我反复琢磨的细节，是MFSD里那个"交互增益"的计算方式。用联合增益减去两个单独增益，这个简单的减法操作背后，其实蕴含着一种很朴素但很深刻的判断逻辑：真正的融合不是简单的叠加，而是产生了单独任何一方都无法解释的"额外价值"。这种思路其实可以推广到很多场景，比如判断一个团队协作是否真的产生了协同效应，而不只是把每个人的工作量简单相加。
论文里有一个细节我觉得值得单独拎出来说，就是研究团队发现GRPO和RLSD这两种只关注最终结果的强化学习方法，会让模型在目标基准上进步，却在其他通用能力上出现倒退。这其实是一个值得所有做强化学习的人警惕的信号：当你只告诉模型"答对了给奖励"而不告诉它"你是怎么答对的"，模型很可能会找到一条通往正确答案的捷径，但这条捷径未必是你希望它学会的那种能力。
这篇论文留下的一个开放问题，是当音视频联合推理需要跨越三个甚至更多模态的时候，比如再加上文字文档、再加上三维空间信息，这种基于"四种条件对比"的交互增益计算方法是否还能扩展？毕竟组合数量会随着模态数量指数级增长，这个优雅的减法技巧到了那个时候，恐怕就不够用了。
Q&A
Q1：OmniReasoningBench和之前的音视频测评基准相比有什么本质区别？
A：之前的基准比如WorldSense、Daily-Omni即使标注了需要音视频理解，实际测试发现用纯视觉输入也能拿到57%到68%的高分，说明很多题目不需要真正听声音。OmniReasoningBench通过严格筛选，只保留那些在纯文字、纯音频、纯视觉输入下都答错，只有音视频联合输入才能答对的题目，确保题目真正需要跨模态证据链才能解答。
Q2：MFSD和现有强化学习方法GRPO、RLSD相比，核心改进是什么？
A：GRPO只根据最终答案对错给整体奖励，不区分对错是靠单一模态蒙对的还是真正融合推理得出的。MFSD额外计算了一个"交互增益"信号，专门衡量音频和视觉线索放在一起产生的效果是否超过了二者单独效果之和，并据此对模型生成的每个词进行更精细的奖励分配，从而鼓励真正的跨模态融合而非投机取巧。
Q3：OmniReasoning-30B-A3B这个模型最终效果如何，和顶级闭源模型相比差距大吗？
A：OmniReasoning-30B-A3B在OmniVideoBench上达到50.0%，比基础模型提升12.8个百分点，在新提出的OmniReasoningBench上达到42.5%，提升9.3个百分点，同时在长视频和通用视频基准上也有6到7个百分点的提升。但和目前最强的闭源模型Gemini-3.7-Flash的57.6%相比仍有差距，说明这个方向还远未达到上限。
