你有没有想过这样一个问题：如果让一个AI视频生成模型看一张桌子的照片，上面放着一支牙膏和一把牙刷，然后告诉它"把这两样东西收进旅行包里"，它能不能自己想明白该先做什么、后做什么？
这听起来好像不难。但真做起来，里面藏着一堆坑。牙膏得先拧好盖子，牙刷得先折叠好，两样东西都收拾完才能合上旅行包的拉链。顺序可以变，先弄牙膏还是先弄牙刷都行，但有些步骤不能跳过，比如你总不能在包还开着的情况下就说任务完成了。
这正是一群研究者在2026年提出的新基准测试EGO2ACT想要回答的问题。他们发现，现在那些号称能当"世界模拟器"的视频生成模型，在这种看似简单的日常任务面前，表现得相当糟糕。
**为什么这事值得较真**
先说说这个问题为什么重要。这几年视频生成模型突飞猛进，Sora、Wan、Hunyuan这些名字你可能都听过，它们能生成非常逼真的画面。研究者们开始琢磨，既然这些模型对物理世界的理解已经不错了，能不能把它们当成"世界模拟器"，用来给机器人生成训练用的操作演示，或者帮助智能体提前预判某个动作会导致什么结果？
这个想法本身挺诱人。机器人训练数据一直很贵，真人去录制每一种操作场景费时费力，如果AI能自己"想象"出一段物理上合理的操作视频，那省下来的成本可不是一点半点。
但问题来了。之前评估这些视频生成模型的基准测试，大多只测单一的短动作，比如"切一下苹果"或者给出详细的分步指令，比如"先打开盖子，再倒水，再关上盖子"。这就好比考驾照只考倒车入库，却从没让学员自己规划一条从家到公司的路线。
真正的日常任务很少是这样拆解好的。你让一个人"把房间整理干净"，没人会告诉他先擦桌子还是先扫地,这是一个高层目标,中间该怎么走,要靠执行者自己判断。而现有的测试体系恰恰漏掉了这一层,没人检验AI能不能在只给出最终目标、不给任何步骤提示的情况下，自己规划出一条合理的执行路径,还要保证每一步在物理上都说得通。
EGO2ACT* 本文提出的基准测试名称，全称是"从第一人称视角评估目标导向的物体操作能力"，专门用来检验视频生成模型能否根据初始画面和高层目标自主生成一整套物理上合理的操作视频。
这就是EGO2ACT要填的空白：给模型一张第一人称视角的起始画面，加一句话描述的最终目标，然后什么都不多说，看它能不能自己把中间过程演出来，而且演得符合物理规律。
**第一人称视角，到底难在哪**
你可能会问，第一人称视角有什么特别的？不就是换个摄像机位置吗？
事情没那么简单。想象你戴着一台运动相机做家务，手会频繁地挡住视线里的东西，镜头会随着你转头晃动，刚才还在视野里的物体下一秒可能就完全看不见了。这种视角天生就充满遮挡和晃动，对于要追踪"这个物体现在是什么状态"的AI模型来说，难度直接拉满。
如果换成第三人称的固定机位去看一个人做家务，摄像机稳定不动，手的遮挡问题也小得多，整个场景的信息始终完整地呈现在画面里。这也是为什么之前有些复杂操作的评测集中选择了第三人称视角，因为它绕开了第一人称特有的遮挡和运动模糊问题，但同时也绕开了机器人实际工作时最常遇到的那种视角。机器人手上装的摄像头,恰恰更接近第一人称视角,这也是研究团队坚持用第一人称设定的原因。
说到这里有个生活化的对比很合适。你闭着眼睛摸黑找钥匙的时候，脑子里得一直记着钥匙大概在哪个位置，哪怕手挡住了视线，你也知道它没有消失，没有变成别的东西。这种"物体在我看不见的时候依然存在，而且依然是它自己"的常识，恰恰是第一人称视频生成最容易翻车的地方。如果AI模型没有这种持续追踪的能力，那牙刷可能在你手挡住它的瞬间悄悄变成了另一把牙刷，或者干脆凑空消失了。
**怎么搭这个测试场**
研究团队没有偷懒，而是真刀真枪地收集了110个真实世界的任务案例，覆盖厨房做饭、整理房间、办公桌面、个人护理等五大类日常场景。每个任务场景里，annotator们（也就是参与数据收集和标注的志愿者）要录下三段成功完成任务的视频，还要录三段故意没完成任务的失败视频作为对照组。
annotator* 指参与数据收集、标注和质量校验的研究人员或志愿者，负责录制真实场景视频并核实每个任务案例是否符合构建标准。
这里有个细节特别值得说一说：每个任务必须存在至少三种不同的完成方式。比如前面说的牙膏牙刷收纳任务，你可以先拧牙膏盖再折牙刷，也可以反过来，这叫"子动作顺序不同"；你也可以用抽屉收纳而不是旅行包，这叫"资源或工具选择不同"。研究者管这个要求叫"至少三条有效执行路径"，目的是逼着AI不能死记硬背一条固定流程，而要真正理解目标和手头资源之间的关系。
六个主流视频生成模型被拉来参加这场测试，包括Grok Imagine 1.5、Seedance 2.0、Cosmos 3、Kling v3 Pro、MiniMax H3和Wan 2.7。每个模型针对每个任务案例生成三次（用三个不同的随机种子），这样就凑出了18段生成视频乘以110个案例，再加上660段人类录制的视频，总共2640段视频等着被打分。
**谁来当裁判，怎么打分**
视频生成模型自己答完题了，接下来的问题是：谁来判卷？
人工一个一个看视频打分当然最靠谱，但2640段视频，每段可能还要拆成好几个子目标逐一核对，这个工作量靠人力根本扛不住。所以研究团队设计了一套叫EGO2ACTJUDGE的自动评分流水线。
EGO2ACTJUDGE* 一套不依赖参考视频、基于人工设计评分准则的自动化视觉问答评估系统，通过多阶段提问的方式给生成视频打出任务完成度和物理合理性两个维度的分数。
这套系统最核心的设计思路是把一个笼统的"这个视频好不好"问题，拆解成一连串具体的、可以用"是"或"否"回答的小问题。
具体怎么拆？先看任务完成这条线。系统先把目标拆成几个最小单位的子目标，比如"牙膏归位"和"牙刷归位"分别算两个子目标。针对每个子目标，系统依次检查三道关卡：有没有开始动手做这件事（哪怕只是伸手去拿）、这个动作有没有像样地执行到底（而不是刚碰一下就撤手）、最终状态是不是真的达到了目标要求。这三道关卡按顺序检查，一旦某一道没通过，后面的就不再检查了，直接按已经通过的关卡数量打分。
这套"按顺序层层把关，一旦卡住就停"的设计，研究者管它叫gate（关卡）机制。为什么要这样设计，而不是把四道题都问一遍再综合打分？
想象你去面试一个厨师职位，面试官的考察方式是：先看他有没有拿起炒锅（这叫"有没有开始动手"），如果他压根没碰炒锅，那后面"炒得好不好吃"这个问题根本没必要问了，直接判定不及格。如果每道题都单独问、互不影响，那就可能出现这种荒谬情况：候选人全程没碰食材，但被问到"成品摆盘好看吗"的时候，评委看着空盘子瞎猜了个"还算整齐"，硬生生给了及格分。论文里的实验证实了这一点：如果把四道关卡拆开独立提问而不是按顺序卡关，物理合理性这一项的误差会从0.432猛增到0.777，几乎翻倍。这说明分阶段把关这个设计不是走形式，它直接决定了打分准不准。
物理合理性的检查思路类似，但换了四道关卡：物体的身份、数量、外观有没有莫名其妙地变化（比如牙刷突然变成了两把）、动作发生前有没有合理的接触或触发原因（比如杯子自己飘起来了，但没有手碰它）、动作进行过程中是否符合物理规律（比如固体是不是穿过了closed（关闭状态）的容器盖子）、动作结束后状态是否保持稳定。
两条评分线算出来之后，怎么合成一个总分？研究者选用了几何平均数，也就是把任务分和物理分相乘再开平方根，而不是简单地取平均。这个选择背后有个很朴素的道理：如果一个视频任务完成度是0，物理合理性却打了满分，这种视频其实毫无价值，因为它可能完全没有尝试执行任务，只是凑巧画面里没出现穿模。几何平均数能保证只要有一项是0，总分就是0，不会因为另一项分数很高而被拉起来。这就像评价一道菜，如果厨师压根没做熟（任务完成度为0），哪怕摆盘再精致（物理合理性再高），这道菜依然不能端上桌,两项指标必须同时及格才有意义，一项归零另一项就毫无意义。
**测试结果有多打脸**
说了这么多方法论，结果到底怎么样？
研究团队请了三位人类评审员，对25个案例对应的600段视频按照上述规则打分。表现最好的模型Seedance-2.0，在人工评审下的综合得分只有64.0分（满分100）。排在后面的模型里，开源模型Cosmos-3更是惨不忍睹，只拿到了3.9分。
这个数字意味着什么？意味着即便是当前最强的商业视频生成模型，在完成一个普通人几十秒钟就能搞定的日常任务时，也只能勉强做到及格线左右。而开源模型几乎是在"交白卷"。
更细致地拆开看，研究者发现模型最容易栽在"contact-rich actions"（接触密集型动作）上，也就是那种需要物体之间发生紧密物理接触才能完成的操作，比如把两个零件拼接在一起，或者把液体从一个容器倒进另一个。在"附着/连接"这类动作上，模型的任务完成率只有38.6%，物理合理性也只有66.7%，远低于"挪动/摆放"这类相对简单动作的51.1%和75.5%。
这个发现背后其实藏着一个挺朴素的道理：挪动一个物体，模型只需要搞懂起点和终点的位置关系；但要把两个零件拼接起来，模型得理解两个物体之间复杂的空间配合，比如插头的方向对不对、螺纹能不能对上。这种需要"深度理解物体如何互相嵌合"的任务，恰恰暴露了当前视频生成模型对物理世界的理解还停留在表面。
另一个有意思的发现是，任务长度和表现之间只有微弱的负相关（Spearman相关系数ρ等于负0.29）。换句话说，不是任务步骤越多模型就越容易失败，很多时候模型在短短几步的任务里就已经翻车了。这打破了一个直觉：很多人会觉得长任务更难，模型表现差是因为"记不住那么多步骤"，但实际情况是，哪怕是三四步的简单任务，模型照样会在某个关键的接触环节上栽跟头。
**自动评分到底靠不靠谱**
既然EGO2ACTJUDGE是用AI给AI打分，那它自己靠不靠谱？
研究团队做了细致的验证。首先看人类评审员之间达成一致的程度，用一个叫ICC（组内相关系数）的统计指标衡量，达到了0.863，这个数字在学术界通常被认为是"高度一致"。也就是说，不同人类看同一段视频，打出的分数相当接近，说明这套评分规则本身是清晰、可操作的，不是见仁见智的主观判断。
ICC* intraclass correlation coefficient的缩写，即组内相关系数，用于衡量多个评审员对同一批对象打分时的一致程度，数值越接近1说明评审标准越统一。
再看EGO2ACTJUDGE这个自动系统和人类评审的吻合程度，用皮尔逊相关系数衡量达到0.69，比所有对比的基线方法都高。这里对比了六个现有的评估工具，包括WR-Arena、PQSG、RBench、WorldModelBench和VideoScore，它们在这项任务上的相关系数最高也只有0.42（WR-Arena），有的甚至是负数（VideoScore的负0.10），意味着这些工具的打分方向跟人类判断完全反着来。
这个结果挺耐人寻味的。VideoScore这类专注于画面清晰度、动态程度这些"视觉质感"的评估工具，在判断一段视频是否完成了具体任务时反而帮不上忙，甚至会帮倒忙。这就好比请一个只懂摄影构图的人去评判一场足球比赛的胜负，他可能会给镜头漂亮但其实没进球的那一队打高分，因为画面确实拍得好看，但这跟比赛结果毫无关系。
更有说服力的是，EGO2ACTJUDGE和人类评审对六个模型的排名几乎完全一致（Spearman排名相关系数达到0.94），只在相邻的两个模型之间有一次小小的位置互换。这说明这套自动评分系统虽然不能保证对每一段视频的打分都精确无误，但在"哪个模型整体更强"这个大方向上，判断相当可靠。
不过研究团队也坦诚地指出了这套系统的短板：它存在明显的打分偏高倾向，相比人类评审，平均偏高15.4分，而且这种偏高主要集中在物理合理性这一项，偏差达到24.1分。他们做了一个很巧妙的验证实验，专门制造了几种物理违规：删掉一段视频片段造成瞬移、颠倒两段片段的顺序、把早几秒的画面叠加上去造成"鬼影"般的物体重复。结果发现，这个自动系统能抓住55%的"鬼影重复"问题，但对于瞬移和顺序颠倒这类需要跨帧对比才能发现的问题，只能抓住7%到10%。
这揭示了一个很现实的局限：如果违规证据集中在单一画面里，比如某一帧突然出现了两个相同的物体，系统比较容易发现；但如果违规是发生在时间维度上的，比如某个动作的中间过程被偷偷删掉了，系统因为采样的帧数有限，很可能就看漏了。这就好比让一个人翻一本相册找破绽，如果某张照片里有明显的PS痕迹，他一眼就能看出来；但如果是整本相册里偷偷抽掉了几页，中间的故事线出现了断层，他翻得不够密的话，很可能就不会注意到。
**这些失败案例长什么样**
光说数字可能还不够直观，研究团队整理了一批典型的失败案例，归纳成几个常见模式。
任务层面最常见的毛病叫"跳过前置步骤"。比如视频里直接用一个已经盖好盖子的瓶子去完成"打开瓶子倒水"的任务，或者在容器还没打开的情况下就直接往里面倒东西。这就像你让一个人去给汽车加油，他压根没拧开油箱盖，油就已经"出现"在油箱里了，整个过程缺了最关键的那个环节。
另一种常见问题是"结果不完整"。模型执行了动作，但最后的状态没达到要求，比如往容器里塞东西，结果东西还有一半露在外面，或者擦黑板之后痕迹依然清晰可见。这种情况比直接跳步更隐蔽，因为模型确实"做了"这件事，只是没做到位。
物理层面的问题就更五花八门了。有一种叫"对象不一致"，物体的形状、材质甚至身份会无端发生变化，比如一个套娃的内部突然变成了一个圆柱形物体，或者手里拿着的锤子眨眼间变成了一副手套。还有一种叫"边界穿越"，物体直接穿过了本该是封闭的容器盖子进到里面去，比如往一个没打开的垂圾桶盖子上直接把灯泡塞进去，画面里盖子纹丝不动，灯泡却已经在桶里了。
最让人觉得匪夷所思的是"机制违规"，也就是那些带有固定运转方式的物体，在视频里做出了违背自身结构的动作。比如笔记本电脑的屏幕本该沿着铰链轴向上翻开，结果视频里屏幕朝着完全不合理的方向折叠，或者一个套娃的脑袋凭空长出了一个它原本没有的铰链结构。这种错误说明模型对一些生活中常见的机械结构，比如铰链、拉链、卡扣，还缺乏最基本的常识性理解。
**这篇研究留下的余味**
读完这篇论文，有几个细节让我反复琢磨。
第一个是关于"评分可重复性"的实验。研究者用同一个评分系统对同一批视频跑了两次，结果发现任务完成度这一项两次打分的相关系数高达0.93，但物理合理性这一项只有0.76，单次打分的标准差大约16分。这说明哪怕是同一套自动评分系统，面对同一段视频，不同次跑出来的物理合理性打分也会有明显波动。这个发现其实提醒了一件很容易被忽略的事：我们在用AI给AI打分的时候，这个"裁判AI"本身也不是绝对稳定的，它更适合用来做大批量的模型之间的横向比较，而不适合拿来对单个视频下"终审判决"。
第二个值得单独说的细节是关于子目标拆解的稳定性。研究者发现，同一个目标描述，系统每次重新生成拆解方案时，91%的情况下拆出来的子目标数量是一致的，但具体怎么命名、怎么划分动作边界，一致性就明显下降了。这让我想到，AI理解一句话背后隐含的步骤结构，其实没有我们想象得那么确定，它更像是在一个模糊的共识范围内反复摸索，而不是精确地还原出唯一正确答案。
还有一点让我有点意外：论文里提到有些供应商会在后台自己改写用户输入的提示词，而这种改写对不同模型的效果完全不一样,对某些模型能明显提分，对另一些模型几乎没影响。这说明现在这些商业视频生成模型的黑箱程度，可能比我们以为的还要深一层，用户以为自己在和模型"对话"，但实际上已经经过了看不见的中间处理。
这篇论文留下的最大悬念，或许是这句话:它只衡量了视频"看起来对不对"，没有去验证这些生成视频拿去训练机器人或者做规划的时候，到底管不管用。换句话说，一段视频物理上无懈可击、任务完成度满分，是不是就真的能让一个机器人从中学到有用的操作技巧？这中间还隔着一层没被打开的黑箱，留给未来的研究者去填。
Q&A
Q1：EGO2ACT基准测试主要用来评估什么？
A：EGO2ACT用来评估视频生成模型能否根据一张第一人称初始场景图和一句高层目标描述，自主生成完整、物理上合理的操作视频，而不依赖任何分步骤指令。
Q2：EGO2ACTJUDGE评分系统为什么要按顺序检查关卡而不是同时检查所有标准？
A：因为按顺序逐关检查能避免后面的问题被前面已经失败的环节干扰打分，实验显示如果把检查标准拆开独立打分，物理合理性的误差会从0.432涨到0.777，几乎翻倍，说明顺序把关对打分准确性至关重要。
Q3：测试中表现最好和最差的视频生成模型分别是谁，差距有多大？
A：人工评审下表现最好的是Seedance-2.0，综合得分64.0分；表现最差的开源模型Cosmos-3只有3.9分，两者差距悬殊，说明当前视频生成模型在完成日常物体操作任务上普遍存在明显短板。
