你有没有试过在一部三小时的电影里找一句台词？
不是用快进随便扫，而是真的要精确定位到那句话出现的那一刻。多数人会先想办法缩小范围，比如回忆这句话大概在剧情的哪个阶段，然后跳过去细看那几分钟，而不是从头到尾一帧不落地看完整部电影。
这个再自然不过的本能，恰恰是现在最先进的AI视频理解模型都做不到的事情。
**当AI遇到一小时的视频，它面临一个几乎无解的两难**
先说说现在的AI模型是怎么"看"视频的。
像Qwen3-Omni、MiniCPM-o这样的全模态模型，可以同时理解文字、图像、音频，堪称多面手。但它们有一个硬伤：上下文窗口是有限的。
上下文窗口：*通俗讲就是AI一次能"记住"或"看到"的信息总量，用token（词元）数量衡量，超出这个限度的内容AI根本处理不了。*
论文里提到一个具体数字，Qwen3-Omni-30B的上下文上限是65536个token。按照常规的编码方式，一小时的视频大约要消耗47000个token，这意味着一段81分钟左右的录像，就能把这个模型的"脑容量"直接撑爆。
面对这个限制，业界此前大致试过三条路。第一条是选择性保留，也就是提前筛出一些可能相关的片段扔掉其他内容，但问题是如果筛选的时候看得太粗糙，很容易把真正重要的那几分钟漏掉。第二条是压缩，把整段视频的信息压缩得更"瘦"一些塞进有限的空间，但压缩必然意味着细节的损失，声音里的微妙语气、画面里的一闪而过的动作，可能就这么被压没了。第三条是让AI像侦探一样反复回去查看原始视频，每来一个新问题就重新翻一遍素材，这样做虽然灵活，但代价是每次提问都要把耗时的媒体处理流程重新跑一遍。
这三条路的共同困境在于，它们都在同一个有限的"容量"里，让覆盖面和细节精度互相抢资源。你想看得全，就必须看得粗；你想看得细，就必须看得少。
这就好比你只有一个书包的容量，既想装下整本百科全书，又想保证每一页都能放大字体方便阅读，这两件事天然矛盾，书包大小不变，你只能二选一。
论文的作者们提出了一个很直接的问题：能不能不把整段录像塞进AI的"脑子"里，AI依然能精确定位到答案所在的那几分钟？
这篇论文给出的答案就是LEAP，一个教会AI模型自己学会"划重点"再回答问题的框架。
**把录像切成块，再把块切成窗，像查地图一样一层层缩小范围**
LEAP的核心设计思路，其实和人类查资料的直觉很接近：先粗看一遍定位大致范围，再精读那个范围里的细节。
具体来说，LEAP把一段录像沿着时间轴切成一个个固定长度的大块，论文里设定为600秒也就是10分钟一块。
每个大块又进一步切成更小的候选窗口，每个窗口75秒长，一个完整的大块里能切出8个这样的窗口。
你可以把这想象成图书馆的检索系统。一本厚厚的百科全书先按字母分成几十个卷册（对应大块），每个卷册里再按页码细分成一个个章节（对应窗口）。你要查一个词条，不会把整本书翻一遍，而是先锁定字母对应的那一卷，再在那一卷里翻到大概的章节。如果图书馆没有这套分卷分章的系统，你唯一的办法就是从第一页开始逐字扫描，哪怕你知道那个词条就藏在某一页里。
有了这套分块分窗的结构，接下来的问题是：AI怎么知道该看哪个块、哪个窗口？
这就引出了LEAP的两个核心阶段，论文里称之为定位阶段和回答阶段。
定位阶段的任务很纯粹：给AI看一个10分钟的大块（压缩后的版本，视频帧采样得很稀疏，但音频是完整保留的），然后问它"回答这个问题的证据出现在这个块里的哪个窗口"，让它从8个候选窗口里选一个字母答案，类似选择题。
这里有个很巧妙的设计，AI不需要真的生成一句完整的回答，系统直接读取它对每个选项字母的"信心值"，也就是模型内部计算出的下一个词的概率打分（技术上叫logit，可以理解成模型对每个选项有多大把握的一个数值）。这个值越高，说明AI越确信证据在这个窗口里。
logit：*神经网络在做最终判断之前，对每个候选答案打出的一个原始分数，分数越高代表模型越倾向于选择这个答案，经过一个叫sigmoid的数学函数转换后，可以变成0到1之间类似"概率"的数值。*
这样处理有个好处，不用等AI真的说完一整句话才能判断它的倾向，直接看它"脑子里"对几个选项的打分就够了，省了一大笔计算量。
每个大块都这样跑一遍定位，跑完所有的大块之后，系统会根据每个大块里"最自信的那个窗口"的分数，给所有大块排个名，只留下分数最高的3个大块。然后在这3个大块里，各自保留分数最高的3个窗口，最多凑出9个窗口。
这9个窗口才是真正要被拿去仔细"回答"的素材，它们会被重新从原始录像里读取出来，这次是满血状态：每个窗口32帧视频画面加上完整的音频，拼接成一个有限长度的序列交给AI做最终回答。
这个设计的巧妙之处在于，无论录像原本有多长，一小时也好，四小时也好，最终进入"回答"阶段的内容永远是那固定的9个窗口左右的量，论文里管这个特性叫"与时长无关的峰值上下文"。
换句话说，不管这本书有多厚，查到的那几页永远是那几页，不会因为书变厚了，你读的内容也跟着变多。
**两个适配器：一个学会"划重点"，一个学会"看着重点答题"**
光有分块分窗的结构还不够，因为AI本身并不是天生就会判断证据藏在哪个窗口里的。论文采用了一种叫LoRA的轻量化训练方法，给基础模型装上了两个"插件"。
LoRA：*全称Low-Rank Adaptation，一种不改动模型原本庞大参数、只往关键层里插入一小组可训练参数的微调技术，好处是训练成本低，还能在不同任务间灵活切换插件而不用重新训练整个大模型。*
第一个插件叫定位适配器，专门负责训练模型判断"证据在哪个窗口"这件事。它的训练数据来自一个叫LongVALE的数据集，里面标注了很多视频片段里具体事件发生的起止时间。训练时，系统会把一段视频切成候选窗口，告诉模型哪个窗口和标注的证据重叠最多，让模型学着去识别这种重叠关系。
这里有个细节特别值得说一下。训练的监督信号只针对"证据在哪里"这一件事，完全不涉及"最终答案对不对"。这意味着定位适配器学到的是一种通用的、和具体回答模型无关的能力，就像一个专门训练出来的图书管理员，他只负责帮你找到相关的书架位置，不负责替你判断书里哪句话是不是你要的答案。这种设计让定位训练本身也保持在"只看一个块"的范围内，不需要在训练过程中背着一整段录像和一个实时运作的回答模型，大幅降低了训练的复杂度。
第二个插件叫回答适配器，专门训练模型在只拿到几个零散窗口的情况下，怎么把这些片段拼起来形成连贯的回答。因为实际场景里，被选中的几个窗口往往是不连续的，比如一个在第5分钟，一个在第47分钟，一个在第103分钟，AI得学会"跳着看"也能理解剧情逻辑。训练数据里特意混入了来自其他录像的干扰片段，逼着模型学会从一堆片段中辨别出真正有用的那一个，同时把它们当成一个整体来推理。
这两个适配器从不同时挂载，用的时候像换镜头一样，需要定位的时候换上定位镜头，需要回答的时候换上回答镜头，彼此互不干扰。
这就像一个侦探先戴上放大镜在整个案发现场逐块扫描寻找线索（定位适配器），找到几个关键线索点之后，摘下放大镜换上一副普通眼镜坐下来仔细分析这些线索之间的逻辑关系（回答适配器），两种"视角"各司其职。
如果没有这种分工会怎样？论文的对比实验给出了答案。如果让基础模型（没挂定位适配器的"裸模型"）来做这个粗筛的工作，选出的窗口和真实证据重叠的比例明显更低。以VideoOdyssey这个超长视频数据集为例，没训练过的选择器只能让最终窗口覆盖到53.6%的标注证据，而训练过的定位适配器能把这个数字提到70.2%，直接拉高了16.6个百分点。换算一下，大概每10个问题里，训练前有近5个问题会漏掉关键证据，训练后这个数字降到了不到3个。
**文字稿作为第二条扫描通道，省下将近六倍的计算量**
LEAP还有一个很实用的补充设计：既然很多视频的证据其实是靠"说出来的话"传递的，那能不能先把整段录像转成文字稿，用文字稿去做初步定位，省掉处理原始音视频的开销？
于是作者设计了一个"文字稿通道"，整个录像提前跑一遍语音识别转成文字（用的是Whisper large-v3模型），之后每次有新问题，先去文字稿里按窗口对应的时间段做打分，找出可能相关的窗口，然后才去真正的音视频素材里把这几个窗口抠出来，交给回答阶段去处理。
这个设计的好处立竿见影。论文测试显示，文字稿通道消耗的定位阶段token量，只有原始媒体通道的四分之一到六分之一（具体数字是4.74倍到6.21倍的差距），回答速度也明显更快，在VideoOdyssey上甚至比媒体通道快了将近40%。
不过这个捷径是有代价的。文字稿只能捕捉到"被说出来的"信息，那些没有对话、纯靠画面传递的视觉线索，或者环境音效这类非语音的声音信息，文字稿是完全捕捉不到的。论文在CG-Bench这个专门考察视觉线索的数据集上验证了这一点：文字稿通道在这类视频上的证据覆盖率明显低于媒体通道，回答准确率也因此显著下降。
这就好比你想快速了解一场足球比赛的进程，看文字直播比看录像快得多，几句话就能知道谁进球了。但如果裁判出示的是一张黄牌，或者球员做了一个夸张的庆祝动作，这些纯靠画面传递的信息，文字直播往往会漏掉或者描述得很模糊。文字快，但不全。
所以LEAP在正式部署时依然以媒体通道为主，文字稿通道作为一个"当录像主要靠说话传递信息时"的廉价替代方案存在，是一种按需选用的加速选项，而不是全面替代。
此外，回答阶段除了那几个被选中的窗口之外，还会额外读取一份文字稿大纲，按每分钟整理一行要点，最多4000个token，并且会优先把和当前问题最相关的分钟内容排在前面。这份大纲起到的是一种"兜底"作用，论文发现，当选中的窗口恰好没有覆盖到真实证据的时候，这份大纲带来的准确率提升最明显，等于是给AI留了一条"万一窗口没找对，至少还有个大致方向"的退路。
**跨越多个基准测试，LEAP到底提升了多少**
说了这么多设计思路，实打实的数据表现才是检验这套方法有没有用的标准。
论文在四个主要的长视频问答基准上做了测试，分别是TraceAV-Bench、LVOmniBench、VideoOdyssey-AV（全是超过60分钟的长视频）和MMOU。
在Qwen3-Omni-30B这个基础模型上，LEAP相比官方推荐的输入方案，提升幅度在4.5到16.8个百分点之间。具体来看，TraceAV从56.4%提升到60.9%，VideoOdyssey从36.9%大幅跃升到53.7%，提升接近17个百分点，这是四个基准里提升最明显的一个，恰恰是因为VideoOdyssey的视频时长横跨1到4小时，是最能体现LEAP"不受时长拖累"这一优势的场景。
更值得一提的是，LEAP不是只在一个模型上有效。研究者把同样的方法迁移到了另一个全模态模型MiniCPM-o 4.5上，结果同样超越了该模型自己公布的成绩，提升幅度在3.1到13.0个百分点之间。这说明LEAP提出的这套"分块定位加精细回答"的框架，并不依赖某个特定模型的奇特结构，而是一种相对通用的思路。
另外一个值得关注的发现是，LEAP在面对越长的视频时，表现不仅没有衰退，甚至在MMOU这个数据集上随着视频时长增加准确率反而是上升的。这和传统方法形成了鲜明对比，传统的"把整段视频塞进一次性上下文"的方法，视频越长，平均每分钟能分配到的"关注力"就越稀薄，就像论文里打的比方，这个关注力是按照1除以时长的比例往下掉的。而LEAP不管视频多长，每个被选中的窗口拿到的处理资源都是固定的，这才是它能在长视频上保持稳定甚至更优表现的根本原因。
**从离线分析到实时直播，同一套方法无缝切换**
LEAP还有一个让人意外的延伸能力：它天生就支持"流式"场景，也就是那种一边播放一边随时会被问问题的直播或监控场景，而且完全不需要为这个场景单独训练。
这是因为LEAP的分块结构本身就是按照时间顺序严格排列的，一个问题被问出来的时候，系统只需要看"这一刻之前"的那些块，完全不用理会未来还没发生的内容，天然符合流式场景里"不能偷看未来"的因果约束。
论文在一个叫StreamArena的流式理解基准上验证了这一点。这个基准会在视频播放到某个时间点时突然抛出一个问题，然后根据证据距离提问时刻的远近分成不同档位，考察模型能不能准确地"回想"起之前发生过的事情。
结果显示，LEAP的历史回溯平均准确率达到32.0%，明显超过了把整个历史片段一股脑塞进一次上下文的笨办法（只有25.4%），也超过了把窗口平均分布在历史时间轴上的均匀采样方案（20.2%）。
这个对比其实挺说明问题的。就算是面对实时产生的流式数据，有策略地挑选"哪几分钟值得回看"依然比盲目地平均分配注意力或者硬塞全部历史要管用得多。这和前面讲的离线场景的道理是一致的，有限的资源用在刀刃上，永远比撒胡椒面式的均匀分配效果更好。
**这套方法到底解决了什么根本矛盾**
回过头来看，LEAP真正解决的不是某一个具体的技术难题，而是一个更底层的资源分配矛盾：固定容量的上下文，要同时满足"看得全"和"看得细"这两个相互冲突的需求。
LEAP的办法是把这两个需求拆开来做，粗看的阶段专门负责"全"，用压缩过的轻量级扫描覆盖整段录像；精看的阶段专门负责"细"，把有限的资源全部倾注在被确认重要的那几个窗口上。两个阶段各自优化自己的目标，互不拖累，最后拼接成一个完整的回答流程。
这种"先粗后精、分而治之"的思路其实在很多领域都有影子，比如人眼在看一幅画时，先用余光快速扫一遍整体构图，再把视觉焦点集中在细节丰富的区域反复端详。LEAP某种程度上是把这种认知策略，用一套可训练的机制搬到了AI处理长视频这件事上。
论文里也坦承，这套方法还有没解决的问题。比如回答阶段目前还不具备"发现自己选错了窗口"并主动回头重新扫描的能力，一旦定位阶段判断失误，回答阶段只能将错就错。这个自我纠错的闭环，论文把它列为了未来值得探索的方向。
写在后面
读完这篇论文，我印象最深的其实不是准确率提升了多少个百分点，而是定位适配器的训练方式：监督信号从头到尾只盯着"证据在哪里"，完全不看"答案对不对"。
这个设计选择乍一看有点反直觉，按照常规思路，训练一个负责"找线索"的模块，难道不应该用"最终答案是否正确"来反向指导它吗？但论文特意强调这样做会让选择器变成一个"只对某个特定回答模型管用的局部最优解"，它学到的不是"证据在哪"而是"这个模型看到什么样的输入容易蒙对"。这个区分其实很微妙，也很有启发性：你训练一个工具的方式，决定了这个工具的能力边界是通用的还是绑死在某个具体场景里的。
另外一个让我反复琢磨的细节是，文字稿通道和媒体通道这两条路并不是谁取代谁的关系，而是互补的。论文花了相当篇幅去验证，文字稿擅长抓"说出来的"证据，媒体扫描擅长抓"没说出来但画面里有"的证据，两者的证据覆盖范围有系统性的重叠和互补区域。这提醒我，很多时候我们在设计系统时习惯去找"一个最好的方案"，但现实中可能本来就不存在单一的最优解，接受多条路径并存、按场景动态切换，反而是更诚实的工程态度。
如果有一天，我们每个人的智能设备都能像LEAP这样自己学会在几个小时的会议录音里直接定位到那句关键发言，而不是让我们自己手动拖进度条反复寻找，那种体验会是什么样子？
Q&A
Q1：LEAP是什么？
A：LEAP是一个针对长音视频问答设计的AI框架，核心思路是把录像切成固定长度的块和更小的候选窗口，先用轻量级扫描定位最可能包含答案的几个窗口，再把这几个窗口重新读取出来做精细回答，整个过程不需要把完整录像塞进模型的上下文。
Q2：LEAP相比直接把整段视频喂给AI模型有什么优势？
A：最大的优势是不受视频时长拖累。传统方法视频越长，平均每分钟分到的处理资源就越稀薄，而LEAP每次进入回答阶段的窗口数量是固定的，不管视频是一小时还是四小时，答题质量都能保持稳定，在超长视频基准VideoOdyssey上甚至提升了超过16个百分点。
Q3：LEAP能不能用在实时直播这种场景？
A：可以。LEAP的分块结构天然符合"只能看过去不能看未来"的流式约束，不需要额外的流式专项训练就能直接用于直播问答场景，在StreamArena流式基准上的历史回溯准确率明显超过把全部历史塞进一次上下文或均匀采样窗口的方案。
