你有没有见过这样一个视频:一个球滚进隧道,出来的时候突然变成了两个?或者一个杯子倒扣在桌上藏起了一颗弹珠,掀开杯子却发现弹珠凭空消失了?
这不是魔术表演,这是2025年最先进的AI视频生成模型在生成物理场景时的真实表现。听起来有点荒谬对吧,这些模型能生成堪比电影特效的画面,却连一个三个月大的婴儿都懂的常识都做不到。
三个月大的婴儿,真的懂这个吗?答案是肯定的。发展心理学家蕾妮·贝拉吉恩在1986年做过一系列经典实验,发现三岁半个月大的婴儿就已经知道,一个东西被遮住了不代表它消失了。这个能力叫做物体恒常性,它和另一个更基础的能力物体固体性一起,构成了人类认知世界最早也最根本的两块基石。而现在的问题是:号称能"模拟世界"的AI视频模型,可能连婴儿都不如。
这就是卡内基梅隆大学、约翰霍普金斯大学等十几所高校联合团队想要解决的问题。他们的做法很直接:既然模型不会,那就造一套专门的题库和训练资料,教它学会。
**这套系统叫WROP,全称是"用物体恒常性进行世界推理"。**
它包含150个手工设计的三维场景生成器,一个150万样本的训练数据集,还有一个300题的考试卷,专门用来考察14个当下最主流的视频生成模型。
为什么当下的AI视频模型会出这种低级错误
要理解这个问题的严重性,得先明白现在的视频生成模型到底是怎么"看"世界的。
Sora、Veo、可灵这些模型的底层逻辑,是从海量真实视频里学习像素之间的统计规律。一个物体从画面左边移动到右边,模型学到的是"这种像素排列后面大概率跟着那种像素排列",而不是"这是一个具备连续存在性的实体,它现在被挡住了,但它还在那里"。
这就好比你教一个从没见过雪的南方孩子认识"下雪"这个词,只给他看了一万张雪景照片,他能准确说出哪些照片是下雪天,但他并不真的理解雪是水凝结成的冰晶。他学到的是照片的表面规律,不是背后的物理原理。如果哪天你给他看一张"雪往天上飘"的假照片,他大概率认不出这是不合理的,因为他从来没有建立起"雪该怎么运动"这条底层规则,只是记住了很多雪景照片长什么样。
视频模型也是一样的道理。它们在训练数据里见过无数次"球滚进隧道又出来"的画面,学会了复现这类画面的表面模式,但没有建立起"物体在被遮挡期间依然持续存在,身份、大小、运动方向都不会凭空改变"这条底层规则。所以一旦场景稍微复杂一点,多几个物体、换个遮挡方式,模型就容易露馅。
物体恒常性*:指物体在离开视野(比如被遮挡)之后依然被认为持续存在的认知能力,是发展心理学中"核心知识"体系的重要组成部分。
物体固体性*:指两个固体物体不能相互穿透的认知能力,比如小球不能直接穿过比它小的孔洞。
核心知识*:发展心理学家伊丽莎白·斯佩尔克提出的概念,指人类天生就具备、在婴儿期就已运作的一套基础认知系统,为后续更复杂的物理推理提供支撑。
这类失败并不是无关紧要的小瑕疵。论文里有句话说得很直接:一个允许物体互相穿透的模型,不可能正确生成碰撞或支撑物移除后的物理后果,任何更高层的场景理解和因果推理,大概率都会继承这个底层错误。换句话说,物体恒常性和固体性可能是整个物理智能大厦的地基,地基歪了,上面盖得再华丽也不稳。
六大任务家族:怎么给AI出题考物理常识
WROP团队没有简单粗暴地丢一堆视频让模型硬记,而是借鉴了发展心理学几十年积累下来的经典实验范式,设计了六个任务家族,前三个考物体恒常性,后三个考物体固体性。
物体恒常性这边,第一类叫"贝拉吉恩式遮挡",直接照着蕾妮·贝拉吉恩当年的经典实验设计:一个物体沿轨迹运动,途中经过一个不透明遮挡物,模型得生成它从另一侧重新出现的画面,身份、大小、运动方向都得保持一致。第二类叫"静态场景遮挡":一堆物体摆在那里不动,一个遮挡物移过去又移开,模型得保证数量、身份、排列方式全部不变。第三类叫"容器恒常性":一个物体被藏进容器里,容器本身发生了移动、旋转或者和别的容器互换位置,模型得知道这个物体现在跟着容器去了新位置,而不是停留在它原来的世界坐标上。
物体固体性那边同样有三类。"贝拉吉恩式阻挡"考的是物体撞上一个开口,开口比物体小就该被挡住,比物体大就该顺利通过。"物体下落"考的是支撑物被抽走之后,物体该不该立刻开始下落,会不会被下面的另一层结构接住。"物体碰撞"考的是一个运动物体撞上静止的一堆物体后,所有物体的运动轨迹要正确分散开,数量和身份都不能出错。
每个生成器背后是一套Blender手工动画,不是随便调用物理引擎跑一遍就完事的。研究者会反复检查有没有物体穿模、有没有不合理的接触,一旦发现就手动调整场景几何、轨迹、遮挡覆盖率和镜头位置。
Blender*:一款开源三维建模与动画制作软件,这里被用来手工搭建物理场景并渲染成视频。
每个视频的结构也很讲究:120帧的完整动画,从第60帧切开,前半段叫"输入视频",交给模型当参考,后半段叫"目标视频",是模型需要生成的部分,也正是关键物理事件真正发生的地方。这个设计其实藏着一个很关键的考量,如果把整个事件完整地喂给模型看,那模型可能只是在"临摹"而不是在"推理"。只给前半段,逼着模型自己把后半段的物理结果推演出来,这才是真正在考它有没有理解物理规律,而不是有没有记住这个视频。
这套体系一共产出了150万个训练样本和300道固定考题,覆盖了六个任务家族。研究者还特意在同一个生成器里塞进多种物理上都合理的结局,比如"标记盒子互换"这个任务,两个贴了标签的盒子分别盖住不同物体,交换位置后再打开,模型必须记住每个物体原本对应哪个盒子,而不能靠最后的屏幕位置猜答案。这个设计堵死了一条投机取巧的路,如果模型只是简单地记住"最后停在这个位置的盒子里应该有什么",这种规律根本不成立,它被迫得真正追踪身份而不是位置。
打分:谁在装懂物理,谁是真的懂
光有考题还不够,怎么判分是个大问题。
研究团队一开始就否决了用另一个AI模型(比如GPT这类多模态大语言模型)来当裁判的方案。为什么?因为已经有多篇研究证明,这些语言模型自己在核心知识测试上就一塌糊涂,让一个不懂物理常识的裁判去评判别人懂不懂物理常识,这个逻辑本身就站不住。
多模态语言模型*:能同时处理文字和图像/视频信息的大模型,比如GPT-4V这类系统,本文中特指被证明存在核心知识缺陷、因而不适合当裁判的模型类型。
所以他们请了20个真人评委,做了一场盲测。每次给评委看一段输入视频加文字描述,然后展示两个匿名、随机排序的AI生成结果,让评委三选一:选A、选B,或者觉得差不多。评判标准有三条:跟文字描述对不对得上、动作自不自然、还有最核心的一条,物体在被遮挡后有没有凭空消失、凭空出现、穿墙而过,或者颜色形状数量发生了莫名其妙的变化。
为了保证评委靠谱,团队设了质量关卡:评委得先通过资格测试(门槛8/10分,实际中位数达到9/10分),正式评测中嵌入的"注意力检查题"正确率90%,重复题目的自我一致性达到93.5%(用统计学上的Cohen's kappa系数衡量,结果是0.891,属于非常高的水平)。还专门检查了会不会有人无脑选左边的选项,结果发现左边被选中的比例是51.4%,跟50%没有统计学差异,说明没有明显的位置偏好。
这套流程最后一共收集了361组不同模型之间的有效两两对比,用了一个叫Bradley-Terry模型的统计方法,把胜负关系换算成类似国际象棋等级分的Elo分数,方便排名。
Bradley-Terry模型*:一种从两两比较结果中估计各个选手"实力值"的统计模型,类似把一堆运动员的对战记录换算成一个综合排名分数。
14个选手,三种打法:谁在裸奔,谁在作弊
评测覆盖了14个视频模型,横跨开源和商业两大阵营。但更有意思的是,这14个模型其实分成三种完全不同的"应试策略",理解这一点,才能真正看懂后面的排名结果。
第一种叫"真续写",代表选手是PWM-WROP(也就是本文团队自己微调的模型)、MAGI-1、LTX-2.3 Extend和Grok Imagine。它们的做法是把输入视频当成一个已经写了一半的故事,老老实实往后续写,续写的内容在时间上紧接着输入视频结束的那一刻。
第二种叫"参考生成",代表选手是Wan 3.0 Prime、MiniMax H3、Seedance 2.5。这类模型压根不走"续写"这条路,它们把输入视频当成一个视觉参考,大致知道场景长什么样,然后完全按照文字提示,在自己的时间线上把整个事件重新生成一遍。
第三种叫"编辑改写",包括Wan-VACE、Kling O3 Pro、Runway Aleph 2等七个模型。它们是逐帧重绘输入视频本身,输出的内容和输入占据同一段时间区间,所以严格来说,它们根本没办法生成"遮挡之后发生的新事件",因为它们改写的时间窗口和输入完全重叠。
这个分类特别关键,因为最后的排名结果很大程度上是被这个分类决定的,而不是单纯被模型参数量或者训练精细程度决定的。
结果揭晓:参考生成模型意外登顶
最终排名有点出人意料。
排在第一和第二的是Wan 3.0 Prime和MiniMax H3,两者Elo分数完全一样,都是1723.6分,胜率77.9%。它们都属于"参考生成"那一派。第三名是本文团队自己微调的PWM-WROP,1679.5分,胜率73.1%,是所有"真续写"类模型里排名最高的。第四名Seedance 2.5,同样是参考生成类,1649.6分。
再往下看,从第五名的Runway Aleph 2到第十一名的Cosmos3 Super,中间挤了一大堆分数相差不到110分的编辑改写类模型,彼此之间统计学上很难分出高下。垫底的是HY-OmniWeaving和MAGI-1 24B,分数明显掉队。
为什么参考生成类模型反而更擅长这类任务?论文给出的解释挺有意思:正因为这类模型不需要死板地从输入视频的最后一帧往下接,而是有自由度重新构建整个场景,它们反而更容易生成一个物理上说得通的结果。但这种自由也是双刃剑,当任务要求严格保留输入视频里物体的身份和空间关系时,"自由发挥"反而可能变成"按自己的理解乱来",后面的案例分析里会看到具体的翻车现场。
这就好比让两个人复述一个故事。一个人是逐字逐句背诵,另一个人是理解了大意之后用自己的话重新讲一遍。背诵的人不会瞎编,但一旦某个细节没背熟就直接卡壳或者接错;理解大意的人讲起来更流畅自然,但如果他理解错了某个关键情节,比如把"弹珠在A杯子底下"记成了"弹珠在最左边的杯子底下",他会讲得头头是道,却把关键事实讲错了,而且听起来一点都不违和,这才是最麻烦的地方。
PWM-WROP:用专门的题库能不能教会AI懂物理
排名第三、真续写类第一的PWM-WROP,是这篇论文最想证明的一件事:物理常识是不是可以通过针对性训练"教"进去。
这个模型的底子是英伟达的Cosmos3-Nano,一个160亿参数的开源视频生成模型。研究团队没有改动它的架构,只是用WROP的150万样本数据对它做了一轮微调,训练目标就是WROP自己定义的"输入前半段、预测后半段"这个任务本身。
结果很直接:微调之后,它在真续写类模型里断层领先,比第二名Grok Imagine高出224个Elo分,这个差距相当可观。同类里排第三第四的LTX-2.3 Extend和MAGI-1 24B分数更低。
这个结果说明什么?说明专门为某个认知能力设计的训练数据,确实能让模型在这个能力上有实打实的提升,而不需要重新设计模型架构。这有点像给一个已经会走路的孩子专门请了一个体操教练,不需要重新教他怎么走路,只需要针对"平衡感"这一项能力做专项训练,他在这一项上就能明显超过同龄人。当然,论文也很诚实地承认,因为各个模型架构本来就不一样,这个提升不能百分之百归功于训练数据,架构差异也可能掺了一脚。
但更值得玩味的是分辨率这件事。PWM-WROP的原生输出分辨率只有320×192,跟动不动就720p、1080p的商业模型比起来简直是小儿科,分辨率差了将近十几倍的像素数量。可它照样在盲测里排到第三,甚至在用自动化指标做同分辨率对比时,在感知相似度和结构相似度上拿到了全场最好的成绩。这说明评委们真正在乎的是"这个物理事件对不对",而不是"这张画面够不够清晰",这对整个领域是个提醒:一味堆分辨率、堆参数量,未必比精准喂对训练数据更管用。
六大任务拆开看:模型的能力并不是铁板一块
如果只看总排名,你可能会觉得某个模型就是"更强",但把六个任务家族拆开单独看Elo排名,画面完全不一样。
PWM-WROP在"静态场景遮挡"这个任务里排名第一,在"贝拉吉恩式遮挡"和"容器恒常性"里排第三,物体恒常性相关的三类任务整体表现相当扎实。但在物体固体性这边,它的表现就飘忽多了:物体下落任务排第二,阻挡任务排第五,碰撞任务直接掉到第八。
这个反差很值得琢磨。研究者的解释是,物体恒常性和物体固体性可能依赖两种不同的内部表征方式,一个是关于"东西还在不在"的记忆能力,一个是关于"接触之后会发生什么"的力学推理能力,现在这套微调方案,明显更擅长前者,对后者的提升有限。
同时,两个参考生成类的领跑者Wan 3.0 Prime和MiniMax H3,它们的总分优势主要来自物体固体性这三类任务。MiniMax H3在物体下落和物体碰撞两项都拿到了100%的胜率,这个数字相当惊人。它们在恒常性任务上的表现反而中规中矩。这从侧面印证了前面那个猜测:参考生成模型那种"自由重新构建场景"的能力,可能特别适合处理需要精确力学计算的碰撞、下落这类场景,但在需要严格保留输入信息的遮挡追踪任务上,这种自由反而成了负担。
翻车现场:具体错在哪儿
光看Elo分数还是有点抽象,论文里挑了六个具体案例,一个任务家族一个,把模型翻车的瞬间截图放出来,看完之后你会对"AI不懂物理"这句话有更直观的体感。
三个球平行滚进隧道那个任务里,Gemini Omni Flash的输出里三个球出隧道口时挤成一团,数量还多了一个变成四个球。这是最典型的"表征丢失":模型在遮挡期间根本没有持续追踪这三个球各自的车道和身份,出口画面是它凭空"编"出来的,跟入口时的轨迹完全对不上。
一排物体被移动的屏风遮住再露出的那个任务里,Seedance 2.5生成了一个尺寸过大的屏风,移动路径经过的居然是场景里根本没有物体的空白区域,原本该被遮住的物体反而部分露在屏风外面。等屏风移开时,三个物体又突然从一片空地上冒了出来,跟遮挡前的位置对不上任何连续性。这说明模型压根没有理解"这块屏风的作用是挡住这几个特定物体",它只是在做一个视觉上看起来"有遮挡感"的动作,却没建立起遮挡和被遮挡物体之间真正的因果关联。
旋转转盘上三个杯子扣着一颗弹珠那个任务,是最能体现"参照系更新"这个能力的案例。转盘转了180度之后,弹珠原本在前方的那个杯子应该已经转到了后方,模型得掀开后方那个杯子才对。PWM-WROP做对了,正确追踪了弹珠跟着杯子一起移动的过程。但Seedance 2.5掀开的是现在处于前方位置的那个杯子,也就是说它是按"位置"而不是按"杯子的身份"来定位弹珠的,转盘一转,它就找错杯子了。这个错误特别微妙,因为如果不仔细看整个转动过程,光看最后一帧掀杯子的画面,你甚至会觉得这个动作本身没问题,只是掀错了对象。
物体阻挡任务里有个叫"尺寸门"的设计:小球依次经过三道屏障,第一道的孔比球小(该被挡住),第二道的孔比球大(该顺利通过),第三道完全封死。PWM-WROP正确地让球在第一道屏障前减速停住。而Seedance 2.5,以及排名靠前的MiniMax H3和Wan 3.0 Prime,都出现了同一种错误:球直接穿过了那道比自己小的孔,仿佛这道屏障根本不存在。这是论文里提到的"目前最常见的一种失败模式",说明就算是排名靠前的模型,在需要精确比较物体尺寸和孔洞尺寸的场景里,依然会集体翻车。
支撑物撤走后球该不该掉落的任务里,Seedance 2.5犯了两个错误:先是把整个支撑结构都撤走了,而不是只撤走那块滑动的托盘;然后球在支撑结构消失之后,居然还悬在半空中好几帧才慢慢开始下坠。这直接违反了"支撑一旦撤走,重力就该立刻生效"这条物理常识。PWM-WROP在这个任务上表现干净利落,托盘一滑走,球立刻自然下坠落地。
最后一个是台球开球场景,一颗母球撞向摆成三角形的六颗球。Gemini Omni Flash在碰撞发生前,画面里的球数量就已经从七颗莫名其妙涨到了十二颗以上,说明它压根没有认真"数"过场景里到底有几个物体。碰撞之后,被撞的那颗紫色球又直接从画面里消失了。一边凭空增加物体,一边又让已有物体凭空消失,这两种错误同时出现在同一个短视频里,相当能说明问题。
把这六个案例放在一起看,研究者总结出两类典型失败:一类叫"表征丢失",模型画面看起来挺合理,但压根没有持续跟踪那些暂时看不见的物体;另一类叫"因果脱节",模型生成的每个单独画面看起来都还行,但画面和画面之间该有的因果链条断掉了,比如支撑撤走了球却不掉,比如碰撞发生了物体数量却变了。这两类失败其实也解释了为什么同一个模型可能在恒常性任务上表现好、在固体性任务上表现差,因为这本质上是两种不同的能力缺陷,一个是记忆保持能力的缺陷,一个是因果推理能力的缺陷。
这套训练系统是怎么跑起来的
值得一提的是,这篇论文不光放出了数据集和模型权重,还详细公开了整套训练基础设施的工程细节,用的是亚马逊AWS的Trainium2芯片,而不是更常见的英伟达GPU。
Trainium2*:亚马逊AWS推出的自研AI训练加速芯片,是英伟达GPU之外的另一种硬件选择。
这套叫PWM的训练框架,从最初每一步训练要花15.1秒,一路优化到5.7秒,中间经历了三轮针对性的工程改进,重写数据搬运方式、优化优化器的并行调用逻辑、调整预取深度。每一轮改进研究者都验证了训练损失曲线完全没有变化,确保优化的是速度而不是精度。这部分内容普通读者可能不需要深究,但它体现了一种研究态度:不只是把结果端出来,连怎么把结果端出来的过程都尽量透明化。
写在后面
读完这篇论文,最让我意外的一点是,那些参数量更大、分辨率更高、商业上更成功的模型,在物理常识这件事上,未必比一个分辨率只有320×192、参数量也不算顶尖的开源微调模型更靠谱。这多少说明了一件事:我们现在评价AI视频模型的标准,可能还停留在"画面好不好看"这个层面,而没有真正建立起"这个世界是不是合理"的评价体系。
另一个让我反复琢磨的细节,是"参考生成"类模型在物体固体性任务上的碾压式表现,MiniMax H3在物体下落和碰撞两项都是100%胜率,这背后可能藏着一个更大的问题:当一个模型被允许"自由重新构建场景"而不是被迫"死板续写"时,它反而更容易生成物理上自洽的结果。这是不是意味着,未来更好的视频生成范式,可能不是简单地往后"接",而是给模型某种程度的"重新想象"空间,同时用别的机制约束住它不能瞎想?这个问题论文没有回答,但我觉得值得继续追问下去。
物体恒常性这件事,人类的婴儿三个半月就掌握了,而2025年最顶尖的AI视频模型依然在这上面反复出错。这种反差本身就值得所有做AI的人认真想一想:我们到底是在教机器"生成看起来对的画面",还是在教它"理解这个世界到底是怎么运作的",这两件事,可能远比想象中更不一样。
Q&A
Q1:WROP是什么?
A:WROP全称是"用物体恒常性进行世界推理",是一套专门评测和训练AI视频生成模型物理常识能力的数据资源,包含150个手工设计的三维场景生成器、150万训练样本和300题评测考卷,用来考察模型是否理解物体恒常性和物体固体性这两项人类婴儿三个半月大就掌握的核心认知能力。
Q2:PWM-WROP这个模型表现怎么样?
A:PWM-WROP是研究团队用WROP数据微调的160亿参数模型,在14个评测模型的盲测排名中位列第三,是所有"真续写"类模型里排名最高的,比同类第二名高出224个Elo分,尽管它的输出分辨率只有320×192,远低于其他动辄720p、1080p的商业模型。
Q3:为什么AI视频模型会出现物体消失或穿墙这类错误?
A:因为这些模型本质上是从海量视频中学习像素排列的统计规律,而不是真正理解"物体被遮挡后依然持续存在"这条物理规则,所以遇到复杂场景,比如多个物体同时被遮挡、或者物体尺寸和孔洞尺寸需要精确比较时,模型很容易生成物体凭空消失、增多或穿墙而过的画面。







