你有没有试过在一部两小时的电影里，找某个一闪而过的镜头？比如朋友说"就是那个主角摸了下口袋的动作，大概在后半段",你只能从头拖进度条，一点点放大镜式地扫。现在想象一下，让AI来做这件事，而且视频不是两小时，是一个半小时起步，有的甚至长达九个小时。这就是2026年这篇论文要解决的问题：超长视频的时间定位。
时间定位
这个术语听起来挺学术，其实说白了就是给AI一句话，让它在视频里找到这句话描述的事情发生在第几秒到第几秒。比如"两只黑翅长脚鹬站在浅浅的绿色水波里"，AI得精确说出这是152秒到158秒发生的。
这件事难在哪？你可能觉得，AI不是已经能看视频了吗，怎么还搞不定找片段这种基础操作。问题恰恰出在"长"这个字上。
当视频只有几分钟时，AI可以把整个视频一帧一帧喂进去，细细地看一遍，不会漏掉什么。但当视频长达一小时甚至更久，目标事件可能只占整个时间轴的千分之一甚至更小。这时候如果还想做到"全程精读"，计算成本会爆炸，模型根本处理不过来；但如果图省事只做"粗略扫视"，那种只持续几秒钟的短暂瞬间，很可能在稀疏采样里直接被跳过，压根没被看到。
这篇论文里提到了一个很说明问题的数字。在ExtremeWhenBench这个评测集上，视频平均长度是76分钟，而不少目标事件的时长可能只有十几秒。拿一个普通的视觉语言模型（VLM）直接上，用768帧均匀采样去覆盖全程，结果平均交并比（mIoU，衡量预测区间和真实区间重合程度的指标）只有0.0392，命中率（Recall@0.5）才0.0233。
VLM*：全称Vision-Language Model，视觉语言模型，指能同时理解图像/视频和文字、并进行跨模态推理的AI模型，比如Qwen、GPT这类具备读图读视频能力的大模型。
这意味着什么？意味着每100次提问里，这种直接硬看的办法只能蒙对2到3次。这不是模型笨，是任务本身太刁钻：长视频里找短事件，就像让你在一本九百页的小说里，凭一句模糊的描述，找到某一页里的某一句话，而且你只被允许翻看其中的几十页。
工具不只是手，还决定了眼睛能看见什么
过去解决这类问题的思路，大多是让AI像侦探一样"多轮搜索":先粗看一遍定位大概区域，再细看确认。这种思路本身没错，问题是，无论是VideoAgent还是DVD这些已有的研究，它们给AI配的"观察工具"基本是提前写死的，整个搜索流程是固定剧本。
这篇论文的研究者们意识到了一个此前被忽略的点：工具本身的设计，直接决定了AI能获得什么样的证据，而不仅仅是执行指令的接口。
打个比方。假如你要调查一桩案子，警察给你一台相机，只能拍单张照片，你就只能靠一张张静态画面去拼凑时间线；但如果给你一台摄像机，能连续录像，你就能看清楚动作的先后顺序、人物的状态变化。如果警察局只给你配了相机，却要求你判断"嫌疑人是先开门还是先关灯"，你根本做不到，因为工具的局限性已经预先限制了你能获取的证据类型。如果反过来，只给你摄像机不给相机，你想快速对比十个不同时间点的现场照片，又会因为视频太长、信息太密集而效率低下，根本没法做大范围比对。
这就是论文提出的核心洞察：高层的"策略"（什么时候该看什么、该怎么搜索）和底层的"工具"（能拍照还是能录像、能看多细）是相互依赖、缺一不可的。只改策略不改工具，策略会被工具的能力天花板卡住；只改工具不改策略，新工具造出来了也没人知道该怎么用。
于是他们提出了一个叫CoEvoWhen的框架，核心思路是让策略和工具一起进化，而不是分开优化。
CoEvoWhen
这是本篇论文提出的框架名称，核心是"policy-tool coevolution"，即策略与工具的协同进化。它让AI在执行任务的过程中积累经验，再用这些经验同时改进"怎么做决策"和"用什么工具做"，而且全程不需要重新训练模型本身的参数。
技能，不改模型参数照样能学东西
这里有个挺反直觉的地方。一般我们说AI"变强了",第一反应是它被重新训练了，参数更新了，学到了新知识。但CoEvoWhen走的是另一条路：冻结视觉语言模型的参数，一个字节都不改，靠给它配一套外部"技能"来提升表现。
技能（Skill）
在这篇论文的语境里，技能是一个可复用的外部组件，由两部分组成：高层策略（指导AI该怎么规划任务、什么时候该看图片什么时候该看视频）和一套可执行的媒体工具（真正负责截图、剪视频片段这些具体操作的代码）。技能存在模型之外，像一本操作手册加一套工具箱，模型随时可以调用，但模型自己没有变。
这个设计思路的巧妙之处在于，它把"进化"这件事从"改模型大脑"变成了"改模型的工具箱和操作手册"。具体流程是这样的：先给AI一套最简化的基础技能，只包含最基本的截图、剪辑、看图、看视频这几个原始操作，和一份极其简单的任务说明书，不规定任何复杂的搜索策略。
然后让这个冻结参数的AI模型（论文里主要用的是Qwen3.5-27B）去跑一批真实的定位任务，产生执行轨迹。每做完4道题，就把这些执行记录连同标准答案，一起交给一个外部的"技能更新器"——论文里用的是Codex（基于GPT-5.5的代码生成模型）。
这个更新器做两件事：第一，分析这些执行记录里AI做对了什么、做错了什么，比如漏看了候选区域、边界判断错了、动作顺序搞混了，然后重写策略文档，把这些教训变成可复用的指导原则；第二，更新器自己动手写代码，升级现有的工具或者直接造新工具，让工具的能力去匹配刚才发现的那些痛点。
这个过程重复了25轮，每轮都基于上一轮沉淀下来的技能继续进化，最终形成一套"进化后的技能"。
值得琢磨的是这个设计为什么要这样分工。如果让更新器直接改AI模型的参数，那就变成了常规的模型微调，需要大量算力，而且一旦模型变了，很难解释清楚它到底学到了什么。而现在这种做法相当于给一个能力固定的侦探配了一套越来越趁手的装备和越来越老练的办案手册，侦探本身没变聪明，但他现在知道什么时候该掏出放大镜、什么时候该调监控录像，还有了更好的放大镜和更清晰的监控设备。这种"知识放在工具箱里"而不是"知识长在脑子里"的做法，好处是透明可控，你随时可以打开工具箱看看里面装了什么，也方便把这套工具箱原封不动地搬给另一个侦探（也就是换一个VLM）用。
图片和视频，两种证据各管一段
技能进化出来之后，具体长什么样？论文里给出了一个很具体的例子。
任务是在一个长达49分钟的视频里，找到"冰川崩裂，巨大的冰墙和冰块坠入水中"这个瞬间发生在什么时候。进化后的AI是这么操作的：第一步，用一个叫make_contact_sheet的工具，把整段视频压缩成一张"接触表"（其实就是把很多帧缩小拼成一张网格图），一眼扫过去对比不同时间段，锁定一个大概在2859到2890秒之间的候选区域。第二步，针对这个候选区域，提取密集帧，进一步缩小范围。第三步，这时候出现了一个关键判断：如果仅凭静态画面无法确认"崩裂""坠落"这种动态过程，就调用提取视频片段的工具，截取2870到2884秒的一段视频，用动态画面确认冰块确实在坠落、水花确实在飞溅。最终给出的答案是2872到2882秒，和标准答案完全吻合。
这里体现出的设计哲学是：图片和视频不是互相替代的关系，而是分工协作的关系。
想象你在整理一沓几千张的照片去拼一个事件的时间线。如果你把所有照片按时间顺序铺开，做成一张大网格图，你能很快扫一眼找到"哪个区域看起来像是我要找的场景"，这叫全局搜索，靠的是图片的信息密度和可并列对比性。但当你锁定了某十几张可疑照片后，想知道"这个人是先转身还是先挥手",光看静态照片是看不出动作顺序的，你得看一段连续的视频才能判断先后关系和动态变化。如果反过来，一开始就用视频去全程扫描九十分钟的素材，那播放速度和你的耐心都跟不上，效率低得离谱。
论文的实验专门验证了这个判断。他们做了一个消融实验（ablation，即去掉某个组件看效果变化），分别测试"只用图片"和"只用视频"两种单一模态的进化版本，结果显示，两种单模态技能各自进化后确实都有提升，但把图片和视频协同起来用的版本，在所有定位准确率指标上都超过了单模态版本，而且用的视觉token（可以理解为处理这些图片视频所消耗的计算资源单位）反而更少。具体数字是，图像+视频协同版本比纯图像版本在IoU AUC上高出0.0763，比纯视频版本高0.0365，同时视觉token消耗比纯视频版本直接减少了221.46k每条查询，降幅相当可观。
这组数据说明的道理挺朴素：不是工具越多越好，也不是哪种模态更高级，而是让合适的工具去做合适的事,图片负责"大海捞针"式的广度搜索，视频负责"确认动作细节"式的深度核实，两者配合，既快又准。
数字说话：进化前后差多少
光说原理不够有说服力，看几组硬核数据会更直观。
论文在三个超长视频时间定位的评测集上做了系统测试：VUE-LVTR（平均视频长度50.9分钟）、ExtremeWhenBench（平均75.8分钟，最长的视频有九个多小时）、CoMET-Bench（平均50.5分钟，专门测试多事件定位和"目标事件压根不存在"这种刁钻情况）。
拿同一个Qwen3.5-27B模型做对比，没有进化的"基础技能"和经过25轮进化后的"进化技能"相比，在VUE-LVTR上，IoU AUC从0.4107涨到0.5137，提升了25.1%；在ExtremeWhenBench上，mIoU从0.1507跳到0.2636，提升74.9%，Recall@0.5更是从0.1478提升到0.2785，涨幅88.4%；在CoMET-Bench上，衡量"正确识别目标不存在"能力的Rejection F1从66.13涨到77.06。
更让人意外的是，准确率涨了，花的计算资源反而降了。在VUE-LVTR上，平均每条查询消耗的视觉token从202.58k降到141.89k，降幅接近30%；在ExtremeWhenBench上降了11.4%；在CoMET-Bench上降了18.9%。
拆开看这些token的构成会发现一个有意思的现象：在ExtremeWhenBench上，图片消耗的token从179.26k涨到了197.49k，但视频消耗的token从47.84k暴跌到3.68k，降幅超过92%。这说明进化后的AI学会了优先靠图片去定位，只在万不得已、必须确认动态细节时才去调用成本更高的视频观察，整体预算分配变得更聪明了。
论文还做了一个跨模型的泛化测试，在三种不同规模的VLM上（Qwen3.5-9B、Qwen3.5-27B、Qwen3.6-27B）分别独立跑了一遍进化流程，结果都呈现出一致的提升趋势，9B模型上mIoU甚至提升了99.2%，说明这套"策略工具协同进化"的方法并不依赖某个特定模型的特殊能力，换了模型照样管用。
除此之外，研究者还测试了把这套为"时间定位"任务专门进化出来的技能，直接搬去做"长视频问答"这个完全不同的任务（评测集是LVBench和LSDBench），结果不需要针对问答任务重新进化，准确率依然提升了8.65和7.98个百分点。这说明这套技能学到的不是某个任务的死记硬背套路，而是一种更通用的"怎么在长视频里高效找证据"的本领，这种跨任务的迁移能力，是这篇论文比较让人惊喜的一个发现。
策略和工具谁更重要
论文还专门拆解了策略和工具各自的贡献有多大。他们设置了"只进化策略、冻结工具"和"只进化工具、冻结策略"两种对照组，结果两种单独进化的版本都比完全不进化的基础版本要好，证明策略和工具都是有效的优化靶点。但完全体的"策略工具协同进化"版本表现最好,IoU AUC比单独进化策略的版本高0.0243，比单独进化工具的版本高0.0735，同时视觉token消耗分别降低了40.6%和25.5%。
有个细节值得多说一句：单独冻结策略（只改工具）造成的准确率损失，比单独冻结工具（只改策略）造成的损失要更大。这似乎在说明，哪怕工具能力变强了，如果没有一套聪明的策略去指挥这些工具怎么用、什么时候用，这些新增的能力也发挥不出应有的价值。这和前面那个"相机摄像机"的比喻其实呼应得上，装备再好，指挥得不好也是浪费。
案例里的细节更能说明问题
论文里给了两个具体案例，拿基础技能和进化后技能在同一个问题上的完整操作轨迹做对比，看完会更有体感。
第一个案例，问题是"什么时候有人用金属漏勺把薯条舀进保温槽",视频长50.6分钟，标准答案是570到582秒。基础技能的做法是：先稀疏采样15帧，锁定一个900秒附近的候选区域,结果这个候选区域其实是错的,但它没有意识到，反复在这个错误区域里剪视频片段确认，最后把一个完全不相关的"传送槽转移"动作误判成了目标动作，给出的答案是895到897秒，IoU为0，完全没对上。而进化后的技能，第一步用全局接触表一眼扫过去，锁定577秒附近才是真正的候选区域；第二步密集采样这个区域的帧，看清楚"舀起-提起-转移"这几个动作阶段；第三步才动用一小段15秒的视频去验证完整动作流程和边界，最终给出570到582秒，和标准答案完全一致，而且视觉token消耗比基础版本还低了51.27%。
第二个案例更典型地说明了"漏看"的危害。问题是找一段仅有11秒的场景:一对情侣在金色夕阳下走过林荫小道，视频长达100.1分钟。基础技能靠6轮稀疏采样扫视全程，但因为采样间隔太大（从5700秒直接跳到5800秒），这11秒的真实目标就这么被漏掉了，最后错误地把一个视觉上相似的场景当成了答案。而进化后的技能先用全局接触表一次性覆盖6005秒的全程（8张图×24帧），锁定5707秒附近的候选；再用局部接触表细化到5680到5740秒这个窄区间；最后用边界帧确认场景的精确起止点，全程甚至没用到视频观察，直接靠图片组合拿到了5703到5714秒的精确答案，和标准答案完全重合，同时视觉token还降低了45.78%。
这两个案例放在一起看，能看出一个共同的问题根源:基础技能一旦在早期搜索阶段锁错了候选区域，后面无论怎么反复确认，都是在错误的地方越陷越深,这就像你记错了朋友家的门牌号，然后在那个错误的楼道里敲遍了每一户的门，敲得再仔细也找不到人。而进化后的技能之所以表现更好，核心原因就在于它的"全局搜索"工具（接触表）能更高效、更低成本地先把候选范围定准，省下来的资源再精准投入到后续的细节确认上。这种"先定好大方向，再花力气抠细节"的分层策略，恰恰是进化过程里被反复强化出来的经验。
还没填平的坑
这套方法当然不是完美的。论文自己也坦承了几个局限。首先，目前用来"喂"给进化过程的任务数据只有100条，来自单一数据源，而且都是有标准答案的（也就是说进化过程依赖"标注过的反馈"），更大规模、更多元数据来源下、甚至没有标准答案时能不能继续进化，还是未知数。
其次，现在所有的观察动作都是由同一个主模型亲自执行的，论文里提到了一个值得继续探索的方向：以后能不能让主模型学会判断"这个观察任务我该自己做，还是该委托给一个专门的子智能体去做",这涉及到多智能体协作的问题，目前还没有被纳入进化的范围。
另外，这项工作目前只聚焦在视觉这一个模态上，完全没有涉及音频、语音识别或者字幕这些信息,扩展到更全面的多模态场景，也是一个明摆着的延伸方向。
写在后面
读这篇论文的时候，最触动我的其实不是那些准确率提升的百分比，而是"用执行轨迹反过来改造工具"这个思路本身。我们平时讨论AI能力提升，习惯性地把目光聚焦在模型参数、训练数据这些"模型内部"的事情上，但这篇论文提醒了一件容易被忽视的事：AI能看见什么、能做什么，很大程度上取决于你给它配的工具,而工具的设计空间，其实是一个完全独立于模型能力之外的、可以被专门优化的维度。
这让我联想到一个不完全贴切但挺有意思的类比:一个厨艺再精湛的厨师，如果厨房里只有一把水果刀，他做不出需要片薄如纸的生鱼片;给他配上合适的刀具，哪怕厨师的手艺一点没变，出品的精细程度也会完全不同。这篇论文做的事情，某种意义上就是在给AI这个"厨师"配刀,而且这把刀是厨师在做菜的过程中，根据切坏的食材、留下的刀痕，自己反思总结出来该怎么改进的。
还有一个细节值得单独说一下:视频token在图片和视频之间的重新分配。进化前后，图片token有时候不降反升,比如在ExtremeWhenBench上图片token从179.26k涨到197.49k，但视频token几乎被砍掉了九成。这其实是一种很理性的"资源置换"：图片便宜又能覆盖大范围，视频贵但能看清动态，进化过程自发地学会了把预算从"贵的地方"挪到"便宜的地方",只在真正需要的时候才舍得花这笔"视频钱"。这不是谁设计出来的规则，是从几百条执行轨迹的反馈里自己涌现出来的行为模式，这一点挺让人觉得意外的。
论文里那个"策略冻结造成的损失比工具冻结更大"的发现，也值得多想一层。它暗示着，很多时候我们缺的可能不是更强的能力，而是指挥这些能力的那套判断力。给一个人再多的工具，如果他不知道什么情况下该用哪个，这些工具大概率是闲置的。这个道理放在AI系统设计之外，好像也挺适用的。
Q&A
Q1：CoEvoWhen是什么？
A：CoEvoWhen是一个策略-工具协同进化框架，专门用来提升AI在超长视频中定位特定事件时间段的能力。它让高层决策策略和底层媒体处理工具一起从执行经验中进化，而不需要重新训练AI模型本身的参数。
Q2：CoEvoWhen进化出来的技能能不能换到其他模型或其他任务上用？
A：可以。论文测试了把技能分别用在Qwen3.5-9B、Qwen3.5-27B、Qwen3.6-27B三种不同模型上，都取得了明显提升；而且把专门为视频定位任务进化出的技能直接用在长视频问答任务上，准确率也有明显改善，不需要额外训练。
Q3：这个方法为什么能在提升准确率的同时还降低计算成本？
A：因为进化后的AI学会了优先用成本较低的图片观察做大范围搜索，只在必须确认动作细节或时间边界时才调用成本更高的视频观察，资源分配更合理，实验显示部分场景下视频消耗的计算资源降幅超过90%。
