你有没有玩过那种第一人称探索游戏,走进一个房间,转身看看背后的风景,再回头继续往前走?如果这段体验不是游戏引擎实时渲染出来的,而是一个AI大模型凭空生成的视频,你会不会担心,当你转身回头的时候,原本那张沙发是不是还在原地?
这不是一个无聊的较真问题。
2024年以来,视频生成模型从"拍个好看的短片"快速升级到"模拟一个可以探索的世界",OpenAI的Sora、谷歌的Veo、还有一堆叫"世界模型"的产品,都在卖一个承诺:给我一张图,告诉我往哪走,我就能给你生成一个连续、可信、能反复探索的3D空间。游戏公司想用它做开放世界,机器人公司想用它训练导航能力,内容创作者想用它做沉浸式漫游。
但这里有个很少被认真检验的问题:这些视频,看起来确实很美,帧与帧之间也很流畅,可它们真的在描述同一个三维世界吗?还是说,AI只是在"看起来合理"的基础上,临场编造每一帧,压根没有一个统一的空间概念在背后支撑?
新加坡国立大学联合LightSpeed Studios等多家机构做了一件事,他们造了一个叫Orbia的评测基准,专门用来回答这个问题。结果挺扎心的:很多顶级模型在视觉质量上几乎满分,但一旦你让摄像机绕一圈回来,或者让它记住十秒钟前生成的某个场景细节,表现立刻露馅。
这事到底难在哪
先说清楚问题的复杂度。评价一个视频生不生成得好看,业内早有一套成熟指标,清晰度、美学分、动作流畅度,VBench之类的工具测得明明白白。
VBench:一套综合性的视频生成质量评测工具,从美学、清晰度、动作流畅度等多个维度给生成视频打分
但"好看"和"真实"是两码事。想象你让一个画家凭记忆画一间房子的四面墙,他画第一面墙的时候很用心,画得又细致又逼真,画第二面墙时又很用心,但完全不参考第一面墙里家具的位置和风格。单独看每一面墙都挑不出毛病,拼在一起却是个不可能存在的房间。视频生成模型面临的正是这种风险:它在逐帧生成画面时,很可能只是在"让这一帧看起来合理",而不是"让这一帧和十秒前那一帧属于同一个空间"。
过去的评测方法基本分两派。一派看几何一致性,比如用SLAM算法去跟踪生成视频里的相机轨迹,看看拍摄路径是不是连贯的;另一派靠视觉语言模型(VLM)去"看图说话",判断画面里的东西有没有变。两种方法都只摸到了问题的一角。
VLM:视觉语言模型,能同时理解图像和文本的AI模型,常被用来给生成内容打分或做质量判断
更麻烦的是,这些方法都没有一个统一的框架,把"保留输入内容""记住自己生成的东西""内部几何自洽"这三件事分开测。你如果只测相机轨迹对不对,完全测不出模型会不会把你最初给的那张沙发图片偷偷换成椅子;你如果只用VLM判断"这个物体还在不在",又测不出这个物体在不在同一个三维位置上。
Orbia团队决定把这件事彻底拆开,构建一个能同时考察"忠于输入""记住自己造的东西""内部几何自洽"三个维度的系统化评测。他们给720个场景设计了探索加返回的轨迹,覆盖27个主流模型,从Wan、Kling、Seedance这些大厂产品,到LingBot、DreamX、Lyra这些专门做"世界模型"的系统,统统拉进来比了一遍。
把"一致性"拆成三块骨头
Orbia最核心的设计思路,是不满足于笼统地问"这个视频一致不一致",而是把一致性拆解成三个相对独立、各自可测的子问题。
第一块叫输入保留。简单说就是:你给模型一张起始图片,模型围着这张图片描绘的场景探索一圈再绕回来,画面里原本就有的那些东西,比如一把椅子、一盏灯,还在不在原来的位置,长得还像不像原来的样子?
想象你出门前拍了张客厅照片,然后蒙着眼睛在屋里走了一圈最后回到原地。睁开眼睛,如果茶几挪了位置、沙发换了颜色,你会立刻意识到不对劲,因为你知道这个房间"本来"长什么样。这种"本来"的参照系,正是输入保留要考察的。Orbia为此专门标注了场景里的显眼物体,叫做锚点,每个锚点单独打分,而不是把整张图的得分平均一下。这么做是因为一个房间里哪怕只有一件家具"穿越"了,也应该被抓出来,而不能被其他没变的墙壁和地板平均掉。
第二块叫生成内容持久性。这个更微妙:当摄像机探索到一个输入图片里压根没出现过的新区域时,模型得自己编出那个区域长什么样。这没问题,AI有创作自由。问题是,当摄像机离开这片新区域再转回来,之前编出来的东西,还得是那个样子吗?
打个比方,你刚认识一个新朋友,第一次见面他穿蓝色外套,第二次见面你当然没理由要求他还穿同一件外套。但如果他在同一场聚会里,中途去了趟洗手间回来,衣服颜色突然变了,你会觉得这人有点邪门。生成内容持久性测的就是这种"同一场探索里,刚编出来的东西能不能坚持住"。
第三块叫3D自洽性。这是最硬核也最容易被忽视的一块:哪怕模型完美保留了输入内容,完美记住了自己编的东西,它生成的所有画面,是不是真的描绘着同一个立体空间?
这里有个关键区别,这三块测的根本不是一回事。前两块都是"内容对不对"的问题,而3D自洽性问的是"这些画面能不能被重建成一个统一的三维场景"。Orbia的做法相当硬核,他们从生成视频里抽取若干帧,喂给一个叫做3D Gaussian Splatting的重建算法,用一部分帧去重建场景,再用剩下没参与重建的帧去验证重建结果对不对。
3D Gaussian Splatting:一种用大量微小的高斯分布体素来表示三维场景的技术,能从多张照片快速重建出可自由查看的三维空间
如果视频里的画面真的描绘着一个统一的三维世界,那用一部分视角重建出来的场景,渲染出另一部分没见过的视角时,应该和模型实际生成的画面高度吻合。这个检验非常狠,因为它不关心你走的路线对不对,只关心你描绘的这些画面之间能不能拼成一个真实存在过的立体空间。
Orbia还设计了六种探索轨迹模板,比如前进再后退、左右平移再返回、绕着某个物体转一圈、偷瞄一眼新区域再回来。每种轨迹对空间记忆的考验方式不同,有的考验视角变化下的物体识别,有的直接考验360度观察同一物体时几何形状对不对。
结果有点出乎意料
27个模型跑完全部测试,排名第一的是SolarWM-H3,综合分76.32。有意思的是,排在前五的"世界模型"里,有三个都用了显式的3D几何表示,也就是说模型不光靠视频生成的直觉,还真的在内部维护一个类似三维缓存的东西。
这揭示了一个挺重要的规律:**靠"记性好"达到内容持久性,比靠"画得好"更可靠**。
比如Gen3C这个模型,维护了一个持久的3D缓存,相机走到哪里,就从这个缓存里渲染出对应视角的参考图像,再拿这个参考图去指导生成。这就好比你去一个陌生城市旅游,如果你随身带着一张实时更新的地图,标记着你走过的每条街道的样子,你回头找某条巷子时自然不会迷路;但如果你只靠脑子硬记,走得越远越容易把细节记混。Gen3C靠着这个"地图"机制,在输入保留这一项上拿下世界模型组第一。
但数据也揭示了一个更扎心的事实:视觉质量和3D一致性几乎没什么关系。
论文里给出了具体数字,视觉质量和三项一致性指标的平均值之间的相关系数,在世界模型组只有0.33,在TI2V模型组更低,只有0.21。
TI2V:Text-Image-to-Video的缩写,指同时接受文本描述和图片输入来生成视频的模型类型,这类模型通常不内置相机位姿控制接口
换句话说,一个视频画面可以美得让你挑不出毛病,但它描述的空间可能根本不存在;反过来,一个画面质量平平的视频,背后却可能撑着一个相当扎实的三维场景。论文里给了个具体例子,LingBot-World v2在视觉质量上排在世界模型组第二,但在3D自洽性上掉到第十四。
这就像你去看一场魔术表演,魔术师的手法流畅得让你移不开眼,但事后你拿帧截图拼起来一看,发现他手里的扑克牌数量根本对不上。表演好看和逻辑自洽,原来真的是两件事。
更让人意外的是控制精度这一块。研究团队发现,专门做相机轨迹控制的世界模型,平均控制准确率是57.29,而那些靠文字描述来间接指挥镜头运动的TI2V模型,平均只有32.48,差了接近25个百分点。就算是TI2V组里最强的Seedance2.5,拿到43.23分,也远远比不过世界模型组排名第一的Lyra2的81.64。
这说明一件事:用文字告诉AI"镜头向左移动",和直接给AI一组精确的相机坐标,效果天差地别。文字描述永远有歧义,"慢慢向左移动一点"这种话,模型理解出来的幅度可能和你想象的完全不一样。而TI2V模型偏偏只有文字接口,没有专门的相机位姿输入通道,这成了它们最大的短板。
但反过来又有个意外,TI2V模型在3D自洽性这一项,平均反而比世界模型组高出10.14分。这说明它们虽然不太听话,走不准要求的路线,但自己瞎编出来的场景内部逻辑反而更统一。这有点像一个认路不太行但画画特别稳的人,你让他往东走他可能跑到西边去,但他画出来的那片地方倒是前后自洽的。控制能力差,和能不能生成自洽的场景,原来是两套完全独立的本事。
长时间探索会发生什么
Orbia不光测了22秒左右的短视频,还专门做了一套延长到一分钟的测试,里面安排了三次返回同一区域的动作,用来看模型在更长时间跨度下还能不能保持一致。
结果相当直白:几乎所有指标都在往下掉,掉得最快的是相机控制精度。
论文里举了个例子,排名靠前的SolarWM-H3,在视频开头五秒的控制精度是91.91分,到了一分钟结束时,掉到64.50分。Cosmos3-Super从60.26分掉到34.94分,几乎腰斩。
这种衰减让我想起一个很常见的生活场景:你跟朋友讲一个复杂的故事,开头几句话逻辑特别清楚,可讲着讲着,细节越积越多,到后面你自己都开始记混到底哪个情节是先发生的。短期记忆撑得住,长期叙事就容易崩。生成式视频模型面对的也是类似的困境,它们没有一个外部的、明确标注的"剧本",所有的空间连续性都得靠模型内部某种隐式的记忆机制去维持,一旦探索时间拉长,这种隐式记忆的负担就会越来越重。
而且这篇论文还指出了一个很值得琢磨的现象,TI2V模型在长视频里,视觉质量几乎不怎么掉,但局部几何一致性掉得厉害,平均局部几何分数下降7.13分,视觉质量只掉了2.08分。
这意味着什么,意味着这些模型哪怕场景结构已经悄悄跑偏了,画面照样可以继续生成得漂漂亮亮,不会因为几何错乱而露出破绽。这其实是个挺危险的信号,因为普通用户光靠眼睛看,根本发现不了场景正在悄悄失真。
轨迹类型也有讲究
六种探索轨迹模板里,最难的是哪一种?论文给出的答案是绕物体环视这种模式。
数据显示,短视频里,环视轨迹的控制精度是53.15分,比前进后退轨迹的62.41分低了近10分,输入保留和内容持久性也是六种模板里最低的。
这个结果其实挺合理,如果你想象你站在一件雕塑前面,绕着它走一圈,你每走一步,看到的雕塑侧面都在变化,背后露出来的墙壁、地板也在跟着变化。这种持续变化的遮挡和显露关系,对模型的空间记忆要求比单纯前进后退要苛刻得多。前进后退的时候,你看到的东西基本还是那些东西,只是远近变了;绕圈走的时候,你几乎是在逼迫模型不停地脑补从没见过的角度。
另一个有意思的发现是关于"偷瞄再回来"这种轨迹,在长视频测试里,这种轨迹的控制精度反而是六种模板里最高的,达到55.09分,但生成内容持久性却是六种里最低的,只有37.32分。
这说明一件事:模型可能完全听懂了你要求的那段移动路线,精确地执行了,但对于它在"偷瞄"那一瞬间临时编出来的新内容,却压根没能力保住。控制精度高和内容记得牢,再次被证明是两套不同的能力。
不同数据来源也会影响表现
Orbia的数据来自四个渠道,真实世界的公开数据集、研究团队自己拍摄的视频、还有用虚幻引擎(UE)渲染出来的模拟场景。
虚幻引擎(UE):一款广泛用于游戏开发的3D渲染引擎,能生成高度可控、带有精确几何标注的虚拟场景
有意思的是,在虚幻引擎生成的场景里,模型的相机控制精度反而是最高的,世界模型组达到63.6分。研究团队给出的解释是,虚幻引擎里的轨迹是严格按照六个模板直接在模拟器里预览调试出来的,运动本身就非常规整,自然更容易被模型"听懂"。这其实也侧面说明了一件事,模型执行指令的能力,很大程度上受训练数据里运动模式规整程度的影响。
而真实世界拍摄的公开视频数据上,视觉质量反而是四类数据里最高的,这可能是因为生成模型的训练数据本身就以真实世界的视频为主,自然更擅长还原这类分布的画面。
这些自动化打分靠谱吗
一个评测基准最怕的就是自说自话,自己定了一套打分标准,结果这套标准和人类的真实感受完全对不上。Orbia为此专门请了20名标注员,人工给90个案例在六个维度上打分排名,然后和自动化评分做对比。
结果显示,人工打分和自动化打分的模型排名相关系数在0.859到0.921之间,其中时间稳定性这一项的人机一致性最高。这个数字算是相当令人安心的,说明Orbia设计的这套复杂指标体系,确实抓住了人类真正在意的东西,不是纸上谈兵的数学游戏。
写在后面
读完这篇论文,最让我意外的不是某个具体模型的分数,而是"视觉质量和3D一致性相关系数只有0.33"这个数字本身。我们平时判断一个AI生成视频好不好,几乎完全依赖眼睛,觉得画面细腻、运镜流畅就是好。但Orbia用720个精心设计的案例告诉我们,这种直觉判断可能系统性地在欺骗我们。一个几乎无法用肉眼发现瑕疵的视频,背后的空间逻辑可能早就散架了,只是散架的方式恰好没有在画面上留下明显痕迹。
另一个让我反复琢磨的细节是,那些表现最好的几个世界模型,几乎都不是单纯靠一个更大的神经网络硬扛出来的,而是额外维护了某种显式的3D缓存或记忆机制。这其实有点推翻了"大模型一力降十会"的朴素想象,至少在空间一致性这件事上,外部的、结构化的记忆似乎比单纯堆参数更管用。这让我想起人类自己记路也不是靠死记硬背每一帧画面,而是在脑子里建立一张简化的地图。AI要撑起一个可信的三维世界,会不会也必须走上类似的路,放弃纯粹的"端到端生成一切",转而给模型装一个它自己能查阅的空间笔记本?
如果有一天,游戏里的每一面墙都是AI实时想象出来的,你愿意相信它转身之后看到的还是同一堵墙吗?
Q&A
Q1:Orbia是什么?
A:Orbia是新加坡国立大学联合LightSpeed Studios等机构推出的评测基准,专门用来检验AI生成的视频是否构成一个前后一致的三维世界,涵盖720个测试场景和27个主流视频生成模型。
Q2:Orbia怎么判断一个视频里的三维世界是不是一致的?
A:Orbia把一致性拆成输入保留、生成内容持久性、3D自洽性三块分别测试,分别检验模型有没有保留原图内容、有没有记住自己生成的新内容、以及所有画面能不能重建成同一个立体场景。
Q3:视觉质量高的AI视频就代表空间一致性好吗?
A:不是的,论文数据显示两者相关性很弱,相关系数只有0.33左右,很多画面精美的视频背后的空间结构其实已经不自洽,肉眼很难察觉。







