你有没有刷到过那种AI生成的视频，画面精致得让人挑不出毛病，光影自然，人物衣服褶皮都对，但看了三秒你会突然觉得哪里不对。可能是一个球穿过了桌子没有碰撞的痕迹，可能是水流动的方式有点诡异，又或者一个盒子悬在空中落下的轨迹不太像真实世界会发生的事。
你说不清哪里错了，但你知道它错了。
这正是当下AI视频生成领域最头疼的一个问题。模型越做越强，画面质量越来越高，可物理真实感这件事却迟迟没有一个靠谱的衡量标准。这篇来自NVIDIA、滑铁卢大学和Vector Institute的论文PhyProbe，就是冲着这个难题来的。
**先搞清楚一件事：为什么这事这么难**
想判断一段视频"有没有问题"听起来不难，难的是判断"问题有多严重"。一个物体稍微飘离了地面一点点,和一个物体突然爆炸成碎片,这两者的物理违规程度完全不是一个量级,但现有的评测方法往往把它们粗暴地归到同一个"不合格"的篮子里。
论文里举了个很直观的例子：一个悬挂的箱子落下去盖住一只球。从物理一致、轻微违规到明显违规,整个过程是连续渐变的。但人类的感知方式却是阶梯式的,不到特别明显的程度,大家都会觉得"看起来还行"。
这背后有认知科学的支撑。认知科学里早就发现,人类对视觉异常的判断是粗糙且有阈值的，观察者只会可靠地察觉那些特别显眼的违规,细微的不一致常常被直接忽略。换句话说,人类的物理直觉本身就不是一把精确的尺子,它更像一个只有"正常""异常"两档的开关,而不是能读出刻度的量表。
这就带来一个很尴尬的局面：如果连人类标注的数据本身都是粗糙、带阈值效应的，那训练出来的评测模型又怎么可能精确？论文作者统计了VideoPhy2和VideoFeedback2两个数据集里人类打的分数分布，发现标注者几乎不打极端分（1分或5分），全都挤在中间，这恰恰印证了"人类感知是粗糙且阈值化的"这个判断。
现有的解决方案主要分两条路。第一条是直接拿现成的视觉语言模型（VLM）当裁判，让它看视频打分或者判断对错。
VLM：Vision-Language Model，视觉语言模型，一种能同时理解图像/视频和文字的AI模型，比如Gemini、GPT-4V这类。
但VLM本质上是靠语言推理来理解画面的，对动态的物理过程天生不敏感，经常需要精心设计提示词才能让它"看出"问题。第二条路是在人类标注数据上微调专门的评测模型，比如VideoPhy2-AutoEval、VideoScore2这些，它们在训练数据分布内表现不错，但一旦换个场景、换个生成模型，性能就会明显掉档，说明它们学到的更像是数据集里的"捷径"，而不是真正理解物理规律本身。
**三个必须同时满足的要求**
作者给一个"靠谱的物理一致性评测器"定了三条标准,这三条贯穿了整篇论文的设计逻辑。
第一,要能做出可靠的相对排序。哪怕绝对分数打得不准,只要能稳定地说出"A视频比B视频违规更严重",这就已经有用了。
第二,分数要锚定在一个固定的参考尺度上。不能今天说0.6分是严重违规,明天因为生成模型整体进步了,同样的违规程度又变成了0.3分。
第三,只看单个视频就能打分,不需要配对参考视频或者文字描述。因为很多物理违规光看动态轨迹本身就能判断出来，不需要知道这个视频"应该"长什么样。
这三条要求放在一起看，其实在说一件事：评测器不能只是"学会了打分这件事"，而是要学会一种稳定的、可迁移的测量方式。
**PhyProbe的核心设计：冻住的眼睛加轻量的大脑**
PhyProbe的架构说起来挺简洁。给它一段视频,先用一个预训练好的、参数完全冻结不动的时空编码器把视频转换成特征表示，这一步相当于"看懂"视频里发生了什么。接着这些特征会被喂进一个很轻量的打分头，输出一个0到1之间的违规分数,越接近1说明物理违规越严重。
时空编码器：能同时理解画面空间信息（物体长什么样、在哪）和时间信息（物体怎么动、怎么变化）的神经网络模型，论文主要用的是Meta的Perception Encoder（简称PE）。
打分头：接在主干网络后面的一个小型神经网络模块，这里是一个三层MLP（多层感知机），负责把特征映射成最终的分数，这部分是真正需要训练的部分。
这里有个关键的设计选择：主干编码器是冻住不动的,只有打分头在训练,而且打分头只有大约100万参数,挂在一个20亿参数的编码器上面。这就好比你请了一位阅历丰富的老侦探来看监控录像，他本身的观察力和经验已经足够扎实了，你不需要重新培养他的眼光，只需要教他一套新的"打分规则"，告诉他看到什么该扣多少分。如果反过来，把整个庞大的侦探团队都推翻重新训练，不仅成本高得吓人，还很可能把他原本积累的、泛化性很强的观察经验给破坏掉，最后训练出来的模型反而更容易在新场景里失灵。
实验也验证了这个判断：换了不同的主干网络,效果差异相当大。弱监督预训练的Perception Encoder表现最稳定最强,V-JEPA2这种做自监督预测训练的编码器也表现不错，而专门做视频压缩重建的Wan2.2 VAE编码器效果就明显差一截。这说明"看得懂物理动态"和"能把视频压缩再还原"根本是两种不同的能力，后者优化的目标压根不是为了理解物理规律。
**怎么把一堆乱七八糟的监督信号拧成一股绳**
这是整篇论文最费心思的部分。物理一致性相关的数据来源五花八门,有的只告诉你"A比B差"这种相对排序,有的给了带噪声的绝对分数,有的根本没打分，只是简单区分"这是真实视频"还是"这是人为制造的失败案例"。
论文把这些异构数据拆成了三种监督信号,分别用三种损失函数去对应。
第一种叫排序监督,核心思想是只要知道两个视频谁更糟,不需要知道具体差多少。这里用了经典的Bradley-Terry模型。
Bradley-Terry模型：一种处理成对比较数据的统计方法，最早用于体育比赛排名，核心思路是把每个选手（这里是视频）看作有一个潜在的"实力值"，通过比较胜负概率反推出这个实力值。
举个例子，围棋排名系统里的Elo积分本质上就是这个思路的变种,不需要每盘棋都打分,只需要知道谁赢了谁，系统就能慢慢把每个选手的真实水平排出来。PhyProbe干的事情类似，训练数据里有"真实视频和真实视频配对"这种没有偏好的组合，这时候模型会用0.5作为标签，推着两个分数往同一个值靠拢，而不是强行分高低。
第二种叫幅度回归,用在那些确实带了噪声但保留了相对大小信息的标注上，比如VideoPhy2和VideoFeedback2里按1到5分打的物理合理性评级。因为不同数据集的打分习惯和标准不完全一致，这里统一做了一次"违规地板"式的单调变换，把5分映射到0（完全没问题），1分映射到1（严重违规），中间的分数不是均匀线性分布，而是向违规端压缩，这个设计是刻意为之的。
为什么要这样压缩？因为前面提到人类对物理违规的感知是有阈值的,大多数稍微有点瑕疵的视频都会被人笼统地打成"还行"（比如4分），只有特别明显的违规才会被精确区分出严重程度。如果强行用线性映射,会把大量其实有细微差别的"4分视频"全都糊成一团，损失了低违规区域里本来存在的信息。做了违规地板映射之后，这部分区域反而能保留更细的分辨率。实验里也确实验证了这一点,四个物理测试集上都比线性归一化的准确率更高。
第三种叫锚点校准,这是解决"绝对尺度漂移"问题的关键一招。用真实视频（高置信度，肯定没问题）当0分的锚点，用人为制造的失败案例当1分的锚点，强行把这两端钉死在固定位置。
这就好比给一把软尺子加了两个铁钉。如果没有锚点,整个评分系统就像一条可以随意拉伸的橡皮尺子,排序可能是对的,但长度单位完全失控，去年量出来是10厘米的东西,今年可能变成了15厘米,因为"尺子"本身随着训练数据的分布悄悄变了形。消融实验直接证明了这一点：去掉锚点损失之后,打分范围直接从正常的0到1.15爆炸到了-0.4到4.13,而且真实视频对生成视频的区分能力大幅下滑。有了这两个铁钉钉住两端，中间的刻度才有意义。
**训练数据从哪来**
PhyProbe整合了七个来源的数据,总共约37万对视频，涵盖了行为类（物体穿模、不自然流体、违反碰撞规律的运动）、时间类（时间跳跃、运动倒放、因果颠倒）、物体性类（物体突然消失出现、形状突变）和感知类（画面崩坏、局部模糊）四大类物理异常。
这里面有个很值得说的细节：数据构造时特别关照了"是否有语义对应关系"这个维度。意思是说，有些配对是基于同一个输入画面或文字提示生成的（叫image+text correspondence或text correspondence），有些配对完全是风马牛不相及的两段视频（叫no correspondence）。为什么要刻意混合这两种？
因为如果训练数据里永远是同一个提示词生成的两段视频做对比,模型很容易学到一个捷径：只要去找"这两个视频哪里长得不像"就能蒙对答案，而不是真正去判断"这段视频本身的运动合不合理"。这就像教一个孩子辨别食物是否变质，如果你总是拿同一道菜的新鲜版和腐烂版给他比较，他可能学会的只是"颜色深的那份更差"，而换一道完全没见过的菜，他就懵了。混入大量毫无关联的视频对比训练，逼着模型必须真正理解"运动轨迹本身对不对"，而不是找茶色对比的小聪明。
**结果到底怎么样**
论文在四个物理一致性测试基准上做了对比：ImplausiBench（真实与生成视频配对）、VideoPhy2（文字对应的生成对生成）、PhyDetEx（无对应关系的真实对生成）、VideoFeedback2（无对应关系的生成对生成）。
| 方法 | ImplB (R-G) | VP2 (G-G) | PhyDetEx (R-G) | VF2 (G-G) |
|---|---|---|---|---|
| VideoPhy2-AutoEval | 28.0 | 28.5 | 30.5 | 36.3 |
| VideoScore2 | 68.7 | 49.7 | 60.6 | 65.0 |
| Gemini-3.1-Pro | 95.2 | 70.5 | 86.2 | 73.7 |
| **PhyProbe** | **98.0** | 66.1 | **98.9** | **75.2** |
可以看到PhyProbe在三个基准上拿到了最高分，尤其是在没有语义对应关系的PhyDetEx上达到98.9%，远超专门微调过的VideoPhy2-AutoEval（只有30.5%）和VideoScore2（60.6%）。这恰恰验证了前面说的那个问题：专门在特定数据集上微调出来的评测器，一旦换到没有语义线索可以依赖的场景，表现就会断崖式下跌。
在和人类评分的相关性上，PhyProbe在VideoFeedback2上的斯皮尔曼相关系数达到0.596，是所有方法里最高的，在VideoPhy2上是0.293，虽然不是最高（VideoPhy2-AutoEval在自己的训练分布内达到0.359），但没有在另一个数据集上崩掉。这个"不偏科"的特点其实比单项冠军更难得，论文里专门指出VideoPhy2-AutoEval和VideoScore2各自只在自己训练过的数据集上表现好，一换地方就掉链子，像是只会做自己复习过的那几道题的学生，而PhyProbe更像是把知识点真正理解透了，换一张新卷子依然能考出不错的成绩。
更有意思的是一个意外发现：PhyProbe虽然压根没有拿过任何通用审美偏好的标注数据训练，但放到人类审美偏好测试基准（MonetBench、Rapidata、RewardBench）上一测，表现居然超过了专门为此训练的VisionReward和VideoReward模型。MonetBench上PhyProbe拿到72.7%，VisionReward是68.2%，VideoReward是56.1%。
这说明物理违规往往和画面整体质量下降是绑在一起的，一个视频一旦出现穿模、物体乱飘，往往同时也伴随着别的视觉瑕疵，所以专门盯着物理一致性训练出来的模型，顺带也学会了判断整体质量的好坏。
**消融实验告诉我们每个零件的作用**
论文很老实地把每个损失函数单独拿掉做了对比。去掉排序损失，模型在VideoPhy2和PhyDetEx上的排序能力明显下滑，说明没有直接的偏好信号，模型确实缺少对相似质量视频做精细区分的能力。去掉回归损失，分数区间直接从正常的0到1.15炸到-1.89到3.45,排序能力基本还在,但分数完全失去了可解释的刻度。去掉锚点损失，不仅分数范围照样爆炸，连真实对生成视频这种最基本的判断准确率都从98.0%掉到了68.7%。
这三个损失函数各管一块，谁也替代不了谁。排序损失负责"谁更差"，回归损失负责"差多少"的大致幅度，锚点损失负责"标尺不要跑偏"。
**局限性也要说清楚**
论文作者没有藏着这部分。PhyProbe对那种只在很短时间内发生的突变（比如物体瞬间消失）或者需要很长时间跨度才能看出破绽的违规，捕捉能力都偏弱,因为这些都超出了当前时空表示方法能有效编码的范围。另外，有些现实中确实存在但比较罕见的运动模式，反而可能被误判成高违规分数，因为模型学到的"正常"模式本质上还是训练数据分布的产物。
还有一点很关键：PhyProbe本质上是在逼近"人类感知的物理合理性"，而不是独立于人类判断的某种客观物理真理。既然人类的判断本身会和画面整体质量纠缠在一起，PhyProbe多少也会继承这种纠缠。论文坦诚地说，目前还没有哪个基准数据集能在固定场景、固定提示词、固定生成器的前提下单独改变物理一致性这一个变量，所以严格意义上的"解耦验证"目前做不到，这是整个领域共同面临的空白，不是PhyProbe一家的问题。
写在后面
读这篇论文时我反复想到的一件事是：这几乎是一篇在讨论"怎么测量一个本身就测不准的东西"的论文。人类标注者本身就是粗糙的、带阈值效应的测量工具，论文选择的策略不是去修正人类标注，而是正面承认这种噪声存在，然后设计一个训练目标体系，让模型从多个不完美的信号源里拼出一个相对完整、相对稳定的测量结果。这种"不追求单一数据源完美，而是靠多源信号互相校准"的思路，其实在很多测量科学领域都反复出现，不只是AI视频评测这一个场景。
另一个让我印象很深的细节是违规地板那个单调变换的设计。它提醒我，很多时候我们拿到的"标注分数"看起来是一条均匀的数字刻度，但背后真实的人类感知可能根本不是线性的。直接拿这种带偏的刻度去做线性回归，表面上没错，实际上悄悄丢失了低分区域里本可以保留的细节。这种对标注本身分布特性的警觉，比方法本身的新颖程度更值得被反复提起。
一个值得继续追问的问题是：如果未来有更强的时空表示模型，能把那种瞬间发生、转瞬即逝的物理违规也编码进去，PhyProbe这套"冻住主干、轻量打分头"的框架能不能原样套用？还是说那种更细粒度的违规，天然需要一种完全不同的建模方式？
Q&A
Q1：PhyProbe是什么？
A：PhyProbe是NVIDIA等机构提出的一种评测生成视频物理一致性的方法，它用冻结的预训练时空编码器提取视频特征，再用轻量打分头输出一个0到1之间的违规分数，分数越高说明视频违反物理规律越严重。
Q2：PhyProbe和VideoPhy2、VideoScore2这些现成评测器比有什么优势？
A：PhyProbe在无语义对应关系和生成对生成这类更难的场景中表现明显更稳定，而VideoPhy2-AutoEval、VideoScore2等微调评测器往往只在自己训练过的数据分布内表现好，换个场景准确率会大幅下滑。
Q3：PhyProbe训练时用了哪些数据和技巧？
A：PhyProbe整合了PAI-Bench、VideoPhy2、VideoFeedback2、BrokenVideos、ImpossibleVideos、TRAVL、Kinetics-700七个来源约37万对视频，用排序损失、回归损失和锚点校准损失三者结合的方式训练，只训练约100万参数的打分头。
