你有没有想过一个问题，当你让AI生成一段"球从斜坡滚下来"的视频时，那个球到底是在遵循牛顿力学，还是只是看起来像在遵循牛顿力学？
这个问题听起来有点钻牛角尖，但其实背后藏着一个挺要命的现实。现在的视频生成模型，比如Sora、Wan、CogVideoX这些,画面质量已经好到能以假乱真。阴影、反光、布料的褶皱,细节丰富得让人起鸡皮疙瘩。可问题是,画得像不等于算得对。一个苹果掉下来的视频,可以帧帧都清晰锐利,却完全不遵守自由落体公式,掉落速度忽快忽慢,像是被一只看不见的手拽着。
这事为什么重要?因为现在学界有个越来越热的想法,叫把视频生成模型当成"世界模型"来用,也就是让AI先在脑子里"模拟"一遍世界会怎么变化,再据此做决策或者规划动作。如果这个"脑子里的模拟"压根不符合物理规律,那建立在它上面的机器人决策、自动驾驶预判,岂不都是在沙子上盖楼?
**世界模型*：一种能够预测环境如何随时间演变的AI系统,常被用作具身智能(比如机器人)做决策和规划的基础。它的预测准不准,直接决定了下游任务靠不靠谱。
一群来自北大、清华和Einsia.AI的研究者,决定不再满足于"看起来真实"这种模糊评价,而是拿着卷尺和秒表,真刀真枪地去测量AI生成的视频里,球到底有没有按照该有的加速度下落,钟摆的周期是不是真的只取决于摆长。他们管这套东西叫"World Models' Last Exam in Physics",直译过来就是"世界模型的物理学期末考"。这名字起得挺大胆,但做法确实配得上这个名字。
现有的评测方法,到底差在哪儿
在这篇论文之前,业内评价视频物理一致性,主要靠三条路子。
第一条路是让另一个AI,通常是视觉语言模型,去"看"生成的视频,然后打分说这段视频物理上合不合理。听起来挺聪明,但问题是,评委自己物理也没学好。论文里提了个很扎心的数据,PQSG的研究发现,GPT-5.5在判断物理问题时准确率只有64.6%,而同一个模型判断普通物体识别问题时准确率高达88.4%。这意味着什么?意味着你让一个物理及格都勉强的裁判去评判别人的物理考卷,裁判自己心里可能都没底。
**VLM*：视觉语言模型(Vision-Language Model)的简称,能同时理解图像和文字,常被用来给图像或视频内容打分、生成描述。
第二条路是拿生成视频去跟参考视频对比,看像不像。代表作是Physics-IQ。这条路的问题在于,它测的其实是"相似度",不是"物理对不对"。打个比方,如果两个司机都在违规变道,只不过变道的角度不太一样,你光看他们像不像彼此,根本看不出来谁更守交规。相似度高,不代表物理对;相似度低,也不代表物理错,因为参考视频本身的质量、视角和内容都会干扰这个判断。
第三条路,也是最硬核的一条,叫直接物理测试,像Principia这类工作,是真刀真枪去测量物体的运动轨迹,看是不是符合物理定律。但这类方法目前基本只盯着力学领域,光学、热学、电磁学这些统统没覆盖,而且有些测量方法还得依赖真实拍摄的参考数据或者仿真器给出的标准答案,这就把适用范围又缩小了一圈。
研究者们意识到,缺的是一套能直接测物理、不靠裁判主观判断、不依赖参考视频、而且覆盖面广的评测体系。这就是这篇论文要干的事。
40道题,9大物理门类,每一道都能算出个数字来
这个基准测试(叫它"考卷"更形象)一共设计了40个受控任务,横跨力学、光学、流体、热学相变、电磁学和表面张力这九大类。
每道题的设计思路很统一:给一个初始画面和一段生成提示词,AI按提示生成视频,然后研究者用一套量化的物理标准去检验这段视频里的运动、角度、液面高度等等,是不是符合真实的物理规律。
这里最巧妙的一点,是他们设计测试时刻意绕开了一个大麻烦,那就是视频里压根没有绝对的尺子和秒表。你没法知道画面里一个像素代表多少厘米,也没法知道一帧代表多少毫秒。怎么办?他们的解法是只测"比值关系",让未知的换算因子自己抵消掉。
举个具体例子。一颗球以45度角抛出,理论上它的最大高度H和水平射程R应该满足H/R等于四分之一。这个比值只跟角度有关,跟初速度和重力加速度的具体数值无关,所以哪怕你不知道视频里的像素换算成实际距离是多少,只要在同一个画面里量出H和R的像素值,算出的比值依然成立。
同样的逻辑用在时间上。两个摆长相同、摆锤质量不同的单摆,理论上周期应该一样,哪怕你不知道视频的帧率是多少,只要在同一段视频里数两个摆各自摆动一次用了多少帧,算比值,帧率这个未知量就抵消了。
这就好比你想比较两个人跑步谁快,但手里没有秒表,只有一台老旧的摄像机,帧率还不确定。这时候你不需要知道摄像机到底是每秒24帧还是30帧,你只需要数两个人各自跑完一圈分别用了多少帧,拿这两个帧数一比,摄像机帧率这个未知数自然就消掉了。如果非要先搞清楚帧率才能比较,那这场测试根本没法在"看起来真实但参数未知"的生成视频里进行,因为AI生成视频压根不会告诉你它脑子里设定的物理常数是多少。
**M1 / M2*：论文里对每个任务定义的主指标和辅助指标,M1检验核心的物理关系,M2做补充验证,两者共同构成这道题的最终得分。
这套"比值相消"的思路听起来简单,但背后藏着研究者对测量学的一种克制。他们没有去强行给AI生成的虚拟世界安个绝对坐标系,而是承认自己测不准绝对值,干脆只测相对关系,这种克制反而让测试更扎实,不会被某个环节的标定误差带偏。
一套"安检+体检"的两阶段评测流程
光设计好题目还不够,怎么批改也是门学问。研究者设计了一套两阶段的评测流程,先过安检,再做体检。
安检阶段,先让一个视觉语言模型(论文里用的是Qwen3.6-27B)给视频打一个"时间一致性"分数,检查画面里该有的物体是不是全程清晰可辨,会不会中途物体凭空消失或者身份错乱。这个分数如果低于80分,说明这段视频压根没提供足够干净的证据让你去做物理判断,就像一张糊成一团的X光片,医生没法从里面诊断骨折没骨折。
**C (Consistency Score)*：时间一致性分数,取值0到100,衡量视频里物体是否持续可识别、画面是否连贯,不涉及物理对错判断。
体检阶段才是真正的硬核部分。不管视频有没有通过安检,系统都会尝试用CoTracker3做点追踪,用SAM2做图像分割,再配合几何拟合、区域测光、信号处理这些工具,把视频里能测的物理量全部抠出来,比如钟摆的摆动周期、光线的反射角度、液面的高度变化。这些量测出来之后,跟预先设定好的物理公式一比对,算出一个物理得分P。
最后把C和P按照固定权重合成综合得分S,公式是S等于0.15倍C加上0.85倍P,但有个关键的前置条件:只有C达到80分以上,P才会真正计入S,否则P这部分直接归零。
**CoTracker3 / SAM2*：CoTracker3是一种点追踪工具,能跟踪视频里某个具体点(比如钟摆球的位置)随时间的移动轨迹;SAM2是Meta开发的图像分割工具,能把视频里的物体从背景中精确抠出来,这两者是这套评测系统提取物理量的主要手段。
这个设计有个很聪明的地方,就是它把"这视频够不够清楚让我测"和"测出来的结果对不对"这两件事彻底分开了。为什么要分开?因为如果混在一起打一个总分,你根本分不清一段视频得分低,到底是因为物体飘忽不定没法追踪,还是因为追踪到了但运动轨迹就是不符合物理规律。这就好比学校体检,如果视力表都看不清,你没法说这学生近视还是远视,得先确认他能不能看清表,再谈度数多少。两步拆开,才能真正定位问题出在哪个环节。
八个模型集体应考,最高分也才57.76
研究者找来了八个主流的图生视频模型,包括CogVideoX1.5、Cosmos3-Super、HunyuanVideo-1.5、LingBot-Video、MiniMax-H3、Seedance-2.5、VBVR-Wan2.2和Wan2.2-I2V-A14B,让它们针对40个任务各生成4个样本,总共产出1280段视频,全部送进这套评测系统接受检验。
结果挺让人唏嘘的。表现最好的Seedance 2.5,综合得分也只有57.76分(满分100)。要知道这还是"最强选手"的成绩,其他模型的得分普遍在30到55分之间晃荡,垫底的CogVideoX1.5只有18.81分。
更有意思的是任务之间的得分差异大得离谱。比如"交通容器液面平衡"这道题(P21,两个连通的容器,液体静置后两边液面应该持平),所有八个模型全部考到93分以上,堪称全员学霸。但是换到"冰块里裹着一块石头融化后水位怎么变"这道题(P26),八个模型集体交白卷,平均分只有3.45分,最高分也就15分,这15分还是单纯靠时间一致性拿到的,所有模型的物理得分全是0。
这说明什么?说明AI对一些"静态平衡"类的物理很擅长,液面找平、浮冰下沉这种画面它见得多,学得也像模像样。但一旦涉及多个物理过程交织在一起,比如先融化、再释放被包裹的石头、石头再下沉导致水位变化,这种需要按时间顺序协调好几个因果链条的复杂场景,AI就彻底露馅了。
论文还专门拿光反射(P18)和带电小球平衡(P31)这两道题做了对比展示。光反射任务里,Seedance和VBVR能生成清晰可辨的反射光线,得分高达96分和95分,但其他模型要么反射光线压根没画出来,要么角度乱七八糟,最低分甚至是0分。带电小球平衡任务同理,Seedance和MiniMax生成的画面里两个小球会正确地向外分开(因为同种电荷相斥),得分都在97分以上,但其余大部分模型要么两个球纹丝不动,要么莫名其妙多冒出一个球来。
这种两极分化的现象很值得玩味。它说明现在的视频生成模型不是在"理解物理",更像是在"模仿它见过的画面模式"。它见过足够多反射光线的视频样本,就能画得八九不离十;没见过足够多带电小球排斥的视频,就只能瞎蒙。
难度分级揭示的深层问题:通过画面审核不等于物理正确
研究者还按照八个模型的平均成绩,把40道题分成了简单、中等、困难三档。
简单档里有连通容器平衡、浮冰浸没比例、悬挂链条形状这些题,这些场景大多是"静态结果",AI只要画出一个稳定的最终状态就能拿分,相对容易蒙对。
中等档包括自由落体和纯滚动这类题目。这里有个数据特别扎心:所有的自由落体视频,100%通过了时间一致性安检(也就是球全程清晰可追踪),但平均物理得分只有26.61分。这说明光是把球画得连贯清晰远远不够,它的下落速度还得符合"距离正比于时间平方"这个公式,而这一点恰恰是AI最容易糊弄过去的地方,因为肉眼很难一眼看出匀速下落和加速下落有什么区别,但算法一测,马上现形。
困难档则是需要跨越多个阶段、维持物理关系贯穿始终的场景,比如等质量小球对撞、粗糙斜面上滑后再滑下、融化带石头的冰块。这类任务的安检通过率只有56.9%,远低于简单题的89.4%。这意味着困难题目不仅AI测不准物理,甚至连"画出一段能看懂的连贯视频"都做不到。
这个三档分级其实揭示了一个挺反直觉的事实。你可能以为,只要AI生成的视频画面清晰连贯,说明它至少把这个物理过程理解对了。但数据明明白白地告诉你,画面连贯和物理正确压根是两码事。就像一个演员可以把台词背得一字不差、表情动作流畅自然,但如果剧本本身逻辑不通,这场戏照样是场灾难。
怎么证明这套评测系统本身靠谱
这里有个很关键的问题:你设计了一套打分系统,怎么证明这套系统本身没有瞎打分?
研究者的做法是造了一批"标准答案"视频。他们用传统的2D动画工具,严格按照物理公式计算物体的每一帧状态,渲染出480段"理论上绝对正确"的参考视频,涵盖全部40个任务,每个任务12段。然后把这些视频喂给评测系统(跳过安检步骤,直接测物理),看系统能不能准确识别出"这些视频是对的"。
结果显示,简单、中等、困难三档任务上,这批参考视频分别拿到97.93分、96.64分和98.25分,总体平均97.53分。这个数字相当漂亮,说明测量模块本身是靠谱的,它确实能准确识别出符合物理规律的视频,不是在瞎给分。
这一步其实特别重要,因为如果没有这个验证,你永远没法排除一种可能,那就是这套系统本身的测量方法有系统性偏差,导致它对所有视频都打低分,不管视频到底对不对。有了这批"标准答案"打底,至少能确认这把尺子本身是准的。
跟人类判断比,这套系统到底靠不靠谱
光自己证明自己靠谱还不够,研究者还找了十名人类标注员,让他们对320段视频打分,然后拿这套AI评测系统和一个"直接打分"的VLM基线(同样用Qwen3.6-27B,但这次是直接看视频给物理正确性打分,不做任何测量)分别跟人类意见做比对。
比对分两种方式。第一种叫同任务内排序一致性,就是看两段视频里,人觉得哪个更符合物理,这套系统判断得对不对。结果这套评测系统跟人类判断一致的比例是51.58%,直接打分的VLM基线只有43.40%,而人类标注员之间彼此的一致性是56.60%。也就是说,这套系统比"直接问AI觉得物理对不对"这种笨办法,整整高出8.18个百分点,虽然还是比不过人类之间的默契程度,但已经明显拉近了差距。
第二种叫确认性两两比较,让人类标注员在160对预先选好的视频里选出哪个更好,或者打平。这套系统的确认一致率是53.12%,VLM基线是45.62%,人类互相之间是58.54%。同样是这套系统更接近人类意见。
这组对比数据传达的信息挺实在的。直接让AI"看一眼然后说对不对",这种做法本质上是在赌AI自己的物理直觉靠不靠谱,而这篇论文已经用数据证明了,现在的AI物理直觉本身就不太行。反过来,先老老实实测量出具体的数字,再用数字去跟物理公式对比,哪怕这套测量流程本身不完美,也比纯粹凭感觉打分要靠谱得多。这就好比你想知道一个人发烧没有,摸额头凭手感去猜,和拿体温计量出具体度数,哪怕体温计精度有限,也比凭手感靠谱太多。
这项工作站在了哪条路上
这篇论文的工作可以放在一条更长的研究脉络里理解。在它之前,已经有一些工作尝试把物理约束直接塞进视频生成过程里,比如PhysCtrl用生成的3D轨迹去引导视频合成,WISA把物理属性描述编码进模型里,还有NewtonRewards这类工作尝试用可测量的物理代理指标去构造强化学习的奖励信号,推动模型生成更符合物理的内容。这些工作是在"治病",想办法让模型生成得更准。而这篇论文做的事情更像是"体检",先把病灶找出来、测量清楚,告诉大家模型现在到底差在哪儿,差多少。
这两类工作其实互为依存。没有靠谱的体检手段,"治病"的方案也没法验证到底有没有效果。这也是为什么这篇论文反复强调自己的测量模块经过了严格验证,因为它想成为后续所有"治病"类研究用来验证疗效的标尺。
从更早的工作往后看,这条测量路线也不是凭空出现的。像PhysWeep这样的工作专注于估计视频里的物理参数,Principia做的是配对物体之间的关系测试,GAUGE则是把测量得到的轨迹和标定过的物理元数据结合起来。这些工作大多聚焦在力学领域,这篇论文把覆盖范围一口气扩展到了光学、流体、热相变、电磁学和表面张力,这是它相对于前人工作最直接的扩展。
写在后面
读完这篇论文,最让我意外的不是那个57.76分的最高分,而是"液面找平"和"冰块融化"之间那道巨大的鸿沟。几乎所有模型都能完美处理静态平衡,却几乎全军覆没在需要跨越多个时间阶段的复杂因果链条上。这让我想起小孩子学物理的过程,很多孩子能把"力的平衡"这类静态结论背得滚瓜烂熟,但一旦题目变成"先怎样,然后怎样,最后结果是什么"这种动态推演,立刻就露怯了。AI视频生成模型此刻表现出来的,竟然是一种很相似的认知模式,它好像记住了很多"物理结果长什么样",却没有真正建立起"物理过程是怎么一步步推导出来的"这种因果链条。
还有一点值得单独拎出来说,就是P18光反射任务里那种两极分化的结果。两个模型得分95分以上,其余六个模型最高不超过50分。这种断崖式的差距通常意味着,高分模型在训练数据里见过大量清晰标注的反射场景,而其他模型可能压根没怎么学过这类画面。这提醒人一个挺朴素的道理,AI展现出来的"物理理解",很可能本质上还是"见过的画面模式的插值",离真正掌握一套可以推广到任意新场景的物理规律,中间还隔着很长一段距离。
那么下一个问题自然就冒出来了:如果AI暂时学不会真正的物理推理,这套测量系统能不能反过来,变成训练过程中的一把尺子,逼着模型在生成的每一帧里都对着物理公式校准?那将是完全不同的一场游戏。
Q&A
Q1：World Models' Last Exam in Physics是什么？
A：这是一套测量式的视频生成基准测试,通过40个覆盖力学、光学、流体、热相变、电磁学和表面张力的受控任务,直接测量AI生成视频里的物理量(比如轨迹、角度、周期),判断是否符合真实物理规律,而不是靠另一个AI主观打分。
Q2：表现最好的视频生成模型得分是多少？
A：八个主流模型里表现最好的是Seedance 2.5,综合得分57.76分(满分100),其余模型得分多在18到55分之间,整体离真正的物理一致性还有很大差距。
Q3：这套评测系统比直接让AI打分的方法靠谱吗？
A：是的。和人类判断对比,这套测量式评测系统的一致率(51.58%排序一致、53.12%两两比较一致)都明显高于直接让视觉语言模型打分的基线方法(43.40%和45.62%),更接近人类标注员之间的默契程度。
