Token导航 LogoToken导航

AI 资讯 · 智猩猩

UIC提出PhyRubric量化文生视频物理常识 Seedance 2.5达标率不足50%

更新 2026-11-18智猩猩正文 5465字阅读约 18分钟11 张图片
智猩猩AI整理
编辑:知知

文生视频模型正越来越多地被视为"世界模拟器"。可苹果在下落途中自己少了一块、灯在按下开关前就已经亮了,这类违背物理常识的问题,现有评测往往只能给出一个笼统的分数。

为此,伊利诺伊大学芝加哥分校(UIC)团队提出 PhyRubric。在看到任何视频之前,先为每条文本提示制定一份专属评分细则(rubric),评测时逐项判定并附上带时间戳的证据,再由判定按固定规则推导出分数。于是每个分数都能说清楚:违反了哪条物理预期,发生在第几秒。

基于这一框架,团队构建了覆盖五大物理领域、34 个类别的评测基准 PhyRubric-Bench 和训练集 PhyRubric-Train,并训练了开源评测模型 PhyRubric-Judge。

结果显示,10 个文生视频模型中表现最好的 Seedance 2.5,也只有 44.20% 的视频既忠于文本又符合物理常识;而仅 8B 参数的 PhyRubric-Judge 与人工判断的一致性超过已有开源评测模型,与闭源的 Gemini 4 Argon 相当。

图片
  • 标题:

    PhyRubric: Rubric-Grounded Diagnostic Evaluation of Physical Commonsense in Text-to-Video Generation

  • 论文Arxiv id:2611.13576

  • 代码:chenyil6/phyRubric

01

打一个分,却说不清错在哪

已有的物理常识评测普遍存在两个局限。

一是评分主观:标注者凭直觉给每个视频打一个离散分数,没有规则规定物理错误如何对应到分数,同一个视频可能得到不同分数,这些噪声也会带进基于这些评分训练出来的评测模型。

二是难以解释:一个总分只反映视频整体有多不合理,并不说明违反了哪条物理原理,评测只能给模型排个序,难以指导改进。

图 1 中,同一段苹果掉落的视频,一位评分者注意到"苹果自己少了一块"打了 1 分,另一位觉得"下落挺自然"打了 4 分。到底该打几分?哪里错了?单凭一个分数无从回答。

图片

图 1 凭直觉打分 vs. 基于细则的评测。(a) 两位评分者对同一视频给出不同分数,分数本身也说不清哪里出错;(b) 按专属细则逐项核验,分数附带被违反的预期及其时间戳。

02

核心思路:先定细则,再看视频

图片

图 2 PhyRubric 总览:(1) 构建专属细则;(2) 构建 PhyRubric-Bench;(3) 构建 PhyRubric-Train 并训练 PhyRubric-Judge。

PhyRubric 的细则在看到任何视频之前就已固定,由同一文本生成的所有视频共享。这样,不同模型的视频面对完全相同的标准,分数可以直接比较;一份细则经人工审核一次后,也能反复用于未来新模型的视频。

延续 VideoPhy-2 的设定,评测分为两个维度,均为 1–5 分。语义一致性(SA)看视频是否呈现了文本描述的内容,条目分为主要事实(主要物体和每个事件)与次要事实(修饰语、初始状态、事件顺序等)。

物理常识(PC)看事件是否符合物理常识,受发展心理学中婴儿习得物理知识顺序的启发,违反被分为四个严重等级:

•致命(Fatal):场景整体不可能成立,如物体相互穿过、凭空出现或消失。

•核心(Core):文本描述的核心交互没有发生或以错误方式发生。

•重要(Major):核心交互之外的明显违反,如台灯亮了,桌面却仍是暗的。

•轻微(Minor):不影响事件本身的视觉瑕疵,如物体颜色或纹理漂移。

每个 PC 条目由一对可核验的陈述构成:Expect 描述正确的视频应呈现什么,Fail 列出算作违反的具体可见迹象,只有观察到其中之一才判为失败。

此外,每个 PC 条目还标注了十种违反类型之一(如物体恒存、实体性、无因运动、过程方向等),并按发展顺序归为 L1 核心物体原则、L2 日常动力学、L3 属性经验三层。

图片

图 3 文本"台灯底座上的钥匙开关被转动,台灯亮起"的简化细则示例。

判定时,PC 条目除了通过和失败,还有第三种结果"未呈现":如果视频里开关从未被转动,相关物理条目判为"未呈现",缺失的动作已由 SA 扣分。

分数不是直接打出来的,由判定按固定规则推导:SA 看主要、次要事实缺失了多少;PC 由最严重的违反决定上限,每多一个严重违反再扣一分。

由于每个负面判定都对应一个具体观察,每个分数都附带"哪里错了"的诊断。

与"常识"的定位一致,PC 条目只判断变化的方向和顺序,不考察速率或幅度;画面之外的原因(如热源、电源)也不会因为看不见而扣分。

图片

图 4 PhyRubric-Bench 示例。每条文本描述一个日常事件,并明确写出其可见结果。

已有的物理常识评测以力学为主,PhyRubric-Bench 则覆盖力学、光学、热学、电学、声学五大领域共 34 个类别(由于视频无声,声学只考察声音的可见后果,如音箱旁水面泛起涟漪),每条文本都只考察凭日常经验即可判断的物理常识,并配有人工核验的细则。下表对比了 PhyRubric 与已有基准:

图片

表注:与已有物理常识评测基准的对比(论文附录表)。Rubric:每条文本配有人工核验的可核验条目;Train set:公开了评测模型训练数据;Explainable:评测模型能指出哪项要求失败及证据;Open-source:公开了物理专用评测模型权重。◐ 表示部分满足。

每条文本都写明结果。

例如写"钥匙开关被转动,台灯亮起",而不只是"钥匙开关被转动"。这样应当发生什么在看到视频前就已确定;而模型已被告知结果却仍画不出来,反映的就是物理知识的缺失,而非创作自由。

文本与细则构建。

文本由大模型起草、人工反复修订,确保每条都描述一个约五秒内可见、结果明确的单一因果事件;考虑到当前模型常画出变形的人体,只有人体本身参与物理过程时,文本中才出现人物。

每种物理现象设计三到五个不同场景,共得到 1,192 条文本,其中 245 条用于评测、947 条用于训练,两者没有共享场景。每份细则由大模型参照同领域示例起草,经自动检查格式和分数可达性后,再由人工修订。

视频生成与标注。

245 条评测文本由 10 个文生视频模型生成 2,433 个视频,其中 6 个模型在评测模型训练时未见过。每个视频先由智能体逐项预标注,再由人工逐条核验。由于细则已写明什么算违反,标注者只需检查列出的迹象是否出现,而不必自己判断物理上是否合理。

03

PhyRubric-Train 与

 PhyRubric-Judge

在此基础上,团队进一步构建了训练集 PhyRubric-Train,包含 947 条与评测集不重叠场景的文本、3,788 个视频和 4.59 万条逐项判定,并以 Qwen3-VL-8B 为起点训练了开源评测模型 PhyRubric-Judge。

为确定最佳方案,团队还系统比较了多种训练配置,包括是否输入细则、输出格式、训练目标(SFT 与 GRPO)以及训练数据规模。

最终的 PhyRubric-Judge 推理时不需要细则,只输入文本和视频帧,就能输出 SA 分数、PC 是否可评、PC 分数,以及一段诊断:视频呈现了什么、缺失了哪些文本内容、违反了哪些物理预期及其证据。它学到的不仅是该打几分,还有为什么。

04

评测结果:物理常识远未解决

研究在 PhyRubric-Bench 上评测了 10 个文生视频模型,包括闭源的 Seedance 2.5、Veo 3.1,以及 HunyuanVideo、Wan2.2、LTX、Cosmos、CogVideoX 等开源模型。主要指标为联合表现 JP,即 SA≥4 且 PC≥4 的视频占比——既忠于文本、又符合物理常识。

图片

表注:10 个文生视频模型在 PhyRubric-Bench 五大领域上的表现。粉色和蓝色分别标出每个模型表现最好和最差的领域。

发现一:物理常识远未解决。

Seedance 2.5 和 Veo 3.1 的平均 JP 分别为 44.20% 和 36.20%,是最强开源模型 HunyuanVideo-1.5-8B(14.93%)的两到三倍,但仍有一半以上的视频不达标。

所有开源模型的平均 SA 都低于 3,通常至少缺失一个主要元素;即使在事件确实发生的视频上,开源模型的平均 PC 也都不超过 3.5,说明事件通常至少违反了一条较严重的预期。

发现二:光学最好,热学和声学最难。

光学是 8 个模型表现最好的领域;热学和声学则是多数模型最弱的领域,闭源模型在声学上的 JP 也只有 30.00% 和 15.00%,两个开源模型为 0。

作者推测,光学现象视觉上显眼、数据中常见,而热学的渐变过程和声学的间接视觉线索都更难画出来。

图片

图 5 PhyRubric-Bench 统计。(a) SA 与 PC 分数分布;(b) 所有视频的结果分布;(c) 各模型在可评视频与全部视频上的平均 PC,按回避率排序。

发现三:语义一致性是主要瓶颈,物理错误"要么全对,要么大错"。

超过一半的视频 SA 只有 2 分,在物理登场前就没能画出事件本身。而一旦事件被完整呈现,74.1% 的物理是合理的。

PC 分数呈两极分布:52.9% 毫无违反,40.8% 出现致命或核心违反,中间的 3、4 分合计仅 6.3%。也就是说,当前模型一旦画出事件,要么把物理画对,要么在最基本的层面出错,很少出现"核心事件对了、只在边角细节上失误"的情况。

发现四:不画出来,就不会错。

一个根本没画事件的视频没有可以违反物理的地方,在以往的评测协议下反而能拿高 PC 分。PhyRubric 将这类视频判为"不可评"。统计发现,25.0% 的视频从未呈现事件,开源模型的这一"回避率"高达 20.0%–44.5%,闭源模型仅 5.7% 和 8.6%。

如果按以往协议打分,开源模型的 PC 会虚高 0.16–0.59,回避率越高涨得越多:回避率最高(44.5%)的 LTX-Video-2B 会排到 Cosmos-Predict2.5-14B 和 Wan2.2-T2V-A14B 前面;例如 Cosmos-Predict2.5-2B 的 PC 会仅次于 Seedance 2.5、超过 Veo 3.1,但它的 JP 只有 6.69%,排名倒数第三。作者认为,文本已写明结果而模型仍不画出来,本身就是物理常识的失败。

05

PhyRubric-Judge:8B开源模型

比肩Gemini 4 Argon

图片

表注:各评测模型与人工标签的一致性(r:Pearson 相关系数;AUC:区分通过与失败视频的 ROC-AUC)。

研究以 PhyRubric-Bench 的人工标签为基准,比较了四类评测模型:零样本 VLM(Qwen3-VL 系列)、通用视频评测模型(VideoScore、VideoScore2)、物理专用评测模型(VideoCon-Physics、VideoPhy-2-AutoEval),以及闭源的 Gemini 4 Argon。

与人工判断最一致。

PhyRubric-Judge 在 SA 和 PC 的所有指标上都取得了最好的一致性。SA 上,其相关系数达到 0.61,明显高于最好的开源基线 Qwen3-VL-32B(0.49)。

PC 是更难的维度:开源零样本 VLM 接近随机水平,最强的开源物理评测模型 VideoPhy-2-AutoEval 用 6.2 万条人工标注训练,r 也只有 0.23;PhyRubric-Judge 只用 3,600 个自动标注视频就达到 0.32,与 Gemini 4 Argon 相当。这说明基于细则的监督,能让小型开源模型追平前沿闭源模型。

能泛化到未见过的模型和领域。

训练集只包含 4 个生成模型的视频。在另外 6 个未见过的模型上,PhyRubric-Judge 的 SA 和 PC 相关系数只分别下降 0.03 和 0.06,仍优于所有基线;把某个物理领域从训练集中去掉后再在该领域测试,SA 最多下降 0.04,PC 最多下降 0.09。

图片

表注:PhyRubric-Judge 的泛化性。(a) 在训练时见过(Seen)与未见过(Unseen)的生成模型视频上的一致性;(b) 使用全部五个领域训练(Full)与去掉该领域训练(w/o the domain)时,在各领域上的一致性。

06

错误分析:最常见的错,

往往也最基础

当前模型很少在细微属性上出错,出问题的反而是最基础的原则。

41.6% 的违反属于核心物体原则,50.7% 属于日常动力学。最常见的两类——"缺失后果"(24.0%)和"物体恒存与计数"(20.4%)——合计占近一半。

"物体恒存与计数"指物体在视频中凭空出现、消失、瞬移、复制或与其他物体合并;"缺失后果"指事件的触发被画出来了,后果却没有随之出现,或者出现的时机不对。

图片

图6 两个失败案例。(a) 物体恒存与计数:酱料与勺子在 1.50 秒到 1.62 秒之间发生突变;(b) 缺失后果:手指在 2.30 秒才按到按钮,车顶灯却从第一帧就已亮起。

如图 6 所示,一个视频里酱料一瞬间就被搅匀、勺子瞬移;另一个视频里按钮还没按下灯就已经亮了。这两个视频画质都很高,但明显的物理错误仍让它们一眼就能与真实视频区分开。

07

结语

PhyRubric 让物理常识评测从"凭感觉打一个分"变成"按细则逐项诊断"。作者强调,它并不打算提出一个最终标准,而是作为一种分析工具带来更深入的发现:

语义一致性是当前的主要瓶颈,物理错误往往"要么全对,要么大错",而模型常常通过不画出事件来回避错误——一种被以往评测无意中奖励的捷径。

对文生视频模型而言,物理常识仍远未解决;而能指出"错在哪、错在第几秒"的评测,也许正是下一步改进的起点。

作者简介

本文第一作者陈慧仪为伊利诺伊大学芝加哥分校(UIC)计算机系一年级博士生,研究方向聚焦视觉语言模型(VLM)的视觉理解、可信 AI 与医疗健康 AI。导师为视觉计算与机器学习领域学者 Baoxin Li 教授(UIC 计算机系教授、亚利桑那州立大学 Emeritus Professor)。

文章标签AI资讯

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。