你刷到过那种做饭视频吗。镜头拍到一半，面包片已经涂了一半黄油，刀还搭在上面。这时候如果有人问你接下来会发生什么，你大概率不会犹豫：继续把剩下半片涂完呗，这还用问。
但如果问的是一个AI模型，它很可能告诉你：面包要被放进烤箱了。
这不是段子。这是一篇最新论文里真实记录的案例。研究者们发现,现在的多模态大语言模型在看视频、理解视频内容这件事上已经很厉害了,能把一段视频发生过什么说得清清楚楚。可一旦你问它"接下来会怎样",它经常就露馅了,要么瞎猜一个已经发生过的事,要么被选项里的文字描述带跑偏,根本没看视频就凭感觉选了个答案。
这篇论文的作者来自南开大学、卡内基梅隆大学、小红书等多家机构,他们给这个任务起了个名字,叫视频事件预测,英文缩写VEP。
**视频事件预测（VEP）**：给AI看一段还没播完的视频，让它从几个选项里挑出"接下来最可能发生的事"，这比单纯描述视频里已经发生的内容要难得多。
听起来好像没什么,不就是选择题吗。但这里面藏着一个很深的坑,值得慢慢说。
为什么AI连这道选择题都做不好
先说当时的大环境。像Qwen3-VL这样的大模型,在视频对话、时间定位这些任务上表现已经相当不错,参数量从几B到几十B都有覆盖。按理说理解一段视频、推断接下来会发生什么,对这些模型来说应该不是难事。
论文里给出了具体数字。在FutureBench这个评测集上,参数量达到30B的Qwen3-VL-30B-A3B模型,平均准确率只有66.86%。而体量更小的Qwen3-VL-4B,准确率甚至只有59.09%。换句话说,每预测3次,这些模型就有一次是猜错的。在NEPBench这个更贴近真实场景的测试集上,表现最好的Qwen2.5-VL-72B也只拿到47.50%的平均准确率,这还是一个720亿参数的大模型。
问题出在哪?论文提出了三个很具体的病灶。
第一个叫因果逻辑鸿沟。模型擅长做的是"复盘",把已经发生的事情串成一个故事讲出来。但从"已经发生的事"推到"还没发生的事",中间隔着一段看不见的状态转变,这段转变需要真正的因果推理去搭桥,而不是简单地把过去的趋势往后延伸一下。
第二个叫语言先验捷径。这个问题更隐蔽。模型有时候压根没认真看视频,而是去对比问题文本和选项文本之间的用词相似度,哪个选项用词跟问题更像,就选哪个。这是一种统计意义上的偷懒,代价是预测结果跟视频里实际发生的状态完全脱节。
第三个叫视觉证据缺失。真实视频里经常有遮挡、快速运动、或者采样帧数不够密集的问题,关键的状态变化信息可能就卡在两帧之间被漏掉了。模型没办法回头去补拍,只能靠猜。
这三个问题合在一起,就是论文开篇那张图里展示的场景。给AI看一段厨房视频,问题问的是"根据视频内容,判断接下来最可能发生的事"。基础版的视觉语言模型看完视频,给出的推理是"人物还在涂黄油这个动作还没结束,所以最合理的继续就是把剩下的面包片也涂上黄油",但它选的答案却是"再拿两片面包出来涂黄油",这个答案看起来文字上跟视频描述很接近,但其实偏离了真正的视觉状态,因为视频里明明还有一片没涂完。
这就是典型的语言先验在作祟。模型的推理过程其实已经摸到门边了,知道涂黄油这件事还没完,但最后选答案的时候,还是被选项文字的表面相似度带偏了。
补一堂"因果推理"的课
研究者们的解法,首先是从训练数据下手,构造了一个叫futurebench-4K的数据集。
**futurebench-4K**：一套包含约4000条高质量思维链推理的训练数据，专门用来教模型如何从"已观察到的终止状态"一步步推导出"未来事件"，而不是简单地总结过去。
这个数据集是怎么来的?研究者先用Qwen3-VL-32B这个模型对训练视频做8次独立的推理尝试,每次都生成一条不同的因果推理路径。如果这8次尝试里至少有一次命中了正确答案,这个样本就被认为是"可解的",因为这说明正确答案是能通过真实的视觉推理得到的,而不是蒙对的。
之后,研究者用Qwen-VL-Max作为裁判模型,对生成的每条推理链打分审核。如果推理链里对观察状态的描述有事实错误,或者因果逻辑有明显漏洞,又或者疑似靠文字相似度走捷径,这条数据就会被淘汰。经过这一轮筛选,最终留下大约4000条高质量推理链用于监督微调,剩下通过验证但没被选中的数据则用作后续强化学习阶段的训练样本。
这个生成流程本身分三步走。第一步,模型要先判断视频最后一帧呈现的"终止观察状态"是什么,以及当前哪个动作还没做完。第二步,如果这个状态判断不清楚,模型可以引入工具去补充证据,比如用状态追踪工具重新梳理一遍已经发生的事件顺序。第三步,模型要填补"因果鸿沟",也就是推理这个未完成的动作会怎样演变成下一个物理上合理的状态,最终给出事件预测。
这套流程有点像让学生先学会写解题步骤,而不是直接背答案。
如果直接让AI靠纯强化学习自己摸索这套因果推理逻辑会怎样呢?论文里提到,研究者确实先试过这条路,结果发现模型在训练过程中调用工具的频率在逐渐下降,越训练越不愿意用工具了。这背后的原因,是工具返回的视觉特征和模型原本预训练时见过的数据分布有差异,模型"不熟悉"这种输入,久而久之就倾向于绕开它。所以最终研究者选择先用监督微调把这套"先定位状态、再补证据、再推因果"的行为模式教给模型,再上强化学习去打磨。
这就好比教小孩骑自行车。如果一上来就把孩子扔到车流复杂的马路上让他自己摸索,他大概率会因为害怕而全程不敢骑快,甚至干脆推着车走。但如果先在空地上练熟了平衡感和刹车动作,再放到复杂路况里,孩子才敢放手去骑,也才能把学到的技巧用上。监督微调就是那块"空地",它让模型先把因果推理和工具使用的基本动作练熟,再去面对强化学习这个更复杂、反馈更稀疏的训练环境。
给AI配一套"诊断工具箱"
光有推理框架还不够,因为视觉证据缺失这个问题,靠模型自己"想"是想不出来的,它需要真的能回去再看一遍视频、再放大看一眼细节。
于是研究者搭了一个诊断工具库,一共四件套。
**状态转换追踪器（State Transition Tracker）**：重新梳理视频里已经发生的事件顺序，把观察到的历史动作串成一条清晰的文字时间线，并明确标出最后的终止状态。
这个工具主要解决的是动作顺序看混了的问题。比如模型分不清手是先空着后拿起杯子,还是反过来,这个工具就会重新分析一遍视频,把事件顺序捋清楚。
**聚焦证据检索器（Focused Evidence Retriever）**：针对一段指定的时间窗口做密集抽帧，把原本因为采样稀疏而被漏掉的瞬时动作找回来。
视频抽帧其实是有代价的。如果每秒只抽一两帧,那种一闪而过的动作,比如杯子刚好在两帧之间被放到桌上,就可能完全漏掉。这个工具就是在怀疑有关键动作被漏采的时间段里,重新做一次密集采样,拼成一张"联系表"式的多帧截图喂给模型。
**区域聚焦放大器（Region Focus Magnifier）**：把画面里关键的局部区域裁剪并放大，方便模型看清手和物体之间到底有没有接触这类细节。
**视觉细节提取器（Visual Detail Extractor）**：把视频最后几帧里容易被忽略的具体视觉事实，用文字明确描述出来，防止模型靠语言相似度走捷径。
这四个工具不是一股脑全部打开用,而是模型自己判断需不需要。论文里设计了一个两阶段流程：第一阶段模型先看一遍视频和问题,形成初步判断,如果发现某个状态转换环节模糊不清,它会主动从工具库里挑出需要的工具;第二阶段这些工具被执行一次,返回的结果会被整合进推理上下文,模型再基于增强后的信息给出最终预测。
这套"按需调用"的逻辑,有点像医生看病。不是每个病人都要做CT、验血、做B超全套检查一遍,医生会先问诊、初步判断,怀疑哪里有问题才安排对应的检查。如果每次都全套检查,一来浪费资源,二来太多无关信息反而可能干扰诊断。论文的消融实验也验证了这一点,如果强制让模型每次都调用全部四个工具,平均准确率反而比完全不用工具还低一点,从75.09%掉到74.91%,原因就是硬塞进来的工具输出里混入了跟真实因果线索无关的噪声,干扰了模型的判断。而让模型自己动态决定要不要调用,平均只用1.13次工具调用就拿到了78.79%的准确率,比随机调用工具(平均1.85次,准确率76.99%)效果更好,调用次数还更少。
论文里有个具体案例很说明问题。一段做菜视频里,肉已经被加入锅中和洋葱、调料混合,画面显示人在用铲子搅拌。基础模型Qwen3-VL-4B看完给出的预测是"肉被加入锅中开始烹煮",这其实是已经发生过的事,属于典型的"把过去当未来"。而配备了状态转换追踪器的VepAgent,先调用工具梳理出一条时间线：肉被加入、和调料混合、人物进入画面开始搅拌,终止状态是"肉已经充分混合并正在搅拌中",基于这个更准确的终止状态判断,模型推理出烹饪过程仍在继续,最合理的下一步是肉彻底混合均匀并完成这个阶段的烹饪,这次预测对了。
不能只靠"猜文字"及格,得靠"看证据"拿分
工具解决的是证据缺失问题,但语言先验这个毛病,还得靠训练阶段的奖励机制去纠正。
论文设计了一套组合奖励机制,核心思路是让模型意识到,光答对还不够,答对的方式也很重要。
这套奖励由四部分组成。格式奖励是硬性门槛,只有推理过程严格按照规定格式,包含了合法的思考标签和答案标签,才算过关,否则直接得零分。准确率奖励比较直白,预测对了给1分,错了给0分。
因果鸿沟奖励则更有意思。它不只看最终答案对不对,还要评估模型的推理过程是否真的在"搭桥",也就是对比模型描述的终止状态、推理过程跟参考答案的因果转折是否一致,而且这个因果过程奖励还会跟准确率挂钩,如果答案本身是错的,这部分奖励也会被压低,防止模型靠瞎编一段看似合理的推理过程来骗分。
**反先验奖励（Anti-Prior Reward）**：专门用来惩罚那种只靠文字表面相似度选答案的行为，鼓励模型真正依据视频内容做判断。
这个奖励的计算方式挺巧妙。研究者先用句子嵌入技术计算正确答案选项跟问题文本之间的相似度排名,如果正确答案恰好是所有选项里跟问题文字最像的那个,说明哪怕模型靠瞎猜文字相似度也能蒙对,这种情况下反先验奖励给得很低。但如果正确答案是文字上最不像、最不容易靠投机取巧选中的那个,模型却依然选对了,说明它是真的看懂了视频,这时候反先验奖励会给到接近满分。
这个机制有点像考试防作弊。如果一道选择题的正确答案恰好是选项里字数最多、用词最花哨的那个,靠"蒙感觉"的学生也可能蒙对,这时候老师没法通过这道题判断学生是不是真的理解了知识点。但如果正确答案看起来平平无奇,甚至刻意设计成不那么显眼,这时候谁选对了,谁才是真的把题读懂了。反先验奖励就是在给那些"读懂视频才选对"的情况加分,而不是单纯奖励选对这个结果本身。
最终的总奖励公式是四项加权组合,准确率权重最高占0.65,因果鸿沟奖励占0.20,反先验奖励占0.15,整体还要乘以格式奖励这个开关。消融实验显示,如果只用准确率奖励,平均准确率是74.62%,加上因果鸿沟奖励能提到76.42%,加上反先验奖励能提到76.33%,而三者全加上,能到78.79%。每一项奖励单独看增幅不算夸张,但叠加起来的效果是实打实的。
数字说话：到底提升了多少
说了这么多设计思路,最终效果到底怎样?
在FutureBench评测集上,VepAgent用的是4B参数的小模型,平均准确率达到81.44%,而此前报告过的最强基线Qwen3-VL-30B-A3B,参数量是它的7倍多,也只有66.86%,相差了14.58个百分点。如果跟同样是4B参数规模的原始Qwen3-VL-4B比,原版只有59.09%,VepAgent直接拉高了22.35个百分点。
在NEPBench上差距更明显。VepAgent拿到70.20%的总体准确率,而之前表现最好的720亿参数的Qwen2.5-VL-72B只有47.50%,差了22.70个百分点。细看子任务,Charades场景下VepAgent拿到83.46%,第二名GLM-4.1V-9B只有45.98%,几乎是接近翻倍的差距。YouCook2场景下VepAgent拿到83.57%,而排名第二的两个模型都是64.48%。
这些数字背后,其实是在用一个参数量小得多的模型,去打赢体量大很多倍的对手。这在当下这个"参数规模决定一切"的叙事里,算是一个值得记一笔的反例。
训练阶段的消融实验也验证了每个设计决策的必要性。零样本直接用原始模型,平均准确率59.09%;只做监督微调,提升到71.59%;监督微调加强化学习,到75.09%;再加上工具增强,到78.79%。这是一条扎扎实实一步步垒上去的曲线,每一步都有明确的贡献来源,不是靠某个单一花招堆出来的。
工具的贡献也能拆开来看。去掉状态转换追踪器,准确率从78.79%掉到75.66%,掉了3.13个百分点,是四个工具里影响最大的一个;去掉聚焦证据检索器掉1.80个百分点;去掉区域聚焦放大器掉0.48个百分点;去掉视觉细节提取器掉1.33个百分点。时间维度的工具（状态追踪和证据检索）组合起来能到77.84%,空间维度的工具（区域放大和细节提取）组合起来是75.38%,两者合在一起才能到78.79%,说明这两类工具是互补的,不是谁能替代谁。
Q&A
Q1：VepAgent是什么？
A：VepAgent是一个针对视频事件预测任务设计的AI智能体框架，它结合因果转换推理和工具增强强化学习，能够让模型在看完一段部分视频后准确预测接下来最可能发生的事件，而不是简单复述已经发生过的内容。
Q2：VepAgent相比普通大模型准确率提升了多少？
A：在FutureBench测试集上，仅4B参数的VepAgent平均准确率达81.44%，比此前最强的30B参数基线模型高出14.58个百分点；在NEPBench测试集上更是比72B参数的基线模型高出22.70个百分点。
Q3：VepAgent用到了哪些诊断工具？
A：VepAgent配备了状态转换追踪器、聚焦证据检索器、区域聚焦放大器和视觉细节提取器四种工具，分别用来梳理事件顺序、补充漏采的瞬时动作、放大局部细节和提取文字化的视觉事实，帮模型找回被漏掉的视觉证据。
