你有没有遇到过这种情况:看一张照片,有人问你照片里那个红色的锥形物体,从机器人的视角看,到底是在蓝色方块的左边还是右边?
你盯着照片看了半天,发现这事儿根本没法直接看出来。你得在脑子里把自己挪到机器人那个位置,想象一下从那个角度看过去,红色锥体和蓝色方块会是什么相对关系。这个"脑补"的过程,人类做起来毫不费力,但对AI来说,这恰恰是一道过不去的坎。
2026年10月,一篇来自香港理工大学和杭州某生物科技公司团队的论文给出了一个有意思的解法。他们没有教AI怎么更聪明地"看图",而是给AI配了一个会"拍视频"的助手,让AI在遇到想不明白的问题时,主动要求这个助手帮它"演一遍"。
这事儿说起来简单,但背后藏着不少值得琢磨的设计思路。我们一点点拆开看。
核心问题:AI看得见的,和需要推理的,是两码事
现在的视觉语言模型(VLM)已经很擅长描述图片里有什么了。
**视觉语言模型(VLM)**:一种能同时理解图像和文字的AI模型,比如你给它一张图,它能告诉你图里有什么、发生了什么。
但描述和推理是两回事。论文开篇就点出了一类任务,这类任务要求模型回答的东西,根本不在输入的图片里。比如:如果把两个物体中的一个挪动一下,它们会不会碰到一起?两张观测照片之间发生了什么,能不能推断出来?换一个视角看,场景会是什么样?
这些问题有个共同点:答案存在于"没被观察到的"时空中。你给AI看两张静态照片,它看不到中间发生的运动过程;你给它一个起始状态,它看不到"如果……会怎样"的后续走向。
这类任务放在以前的做法里,通常会接入一个叫做视频世界模型(VWM)的工具来辅助。
**视频世界模型(VWM)**:一种能根据输入图像生成视频的AI模型,它通过学习海量视频数据,掌握了物体运动、视角变化等视觉规律,能"想象"出没有被直接观察到的画面。
但问题是,现有的做法大多是死板的。比如MindJourney这类工作,专门针对"换个视角看"这一种任务设计了固定流程,输入图片,生成新视角,比较分析,出答案,一条流水线走到底。这就好比你家里只有一把螺丝刀,拧螺丝没问题,但遇到要撬东西、要钉钉子的活儿,这把螺丝刀就完全派不上用场了。
如果世界上的推理任务只有"换视角"这一种,固定流水线当然够用。但现实是,研究者在论文里列出了至少四种完全不同的"想象"需求:改变视角来做空间判断、在两个观测点之间插值来还原隐藏的运动过程、顺着已知的运动趋势往后推演会发生什么、以及对场景做一个干预动作然后看结果。这四种需求用的是完全不同的"脑补"方式,硬塞进一条固定流水线里,显然是行不通的。
这就是整篇论文要解决的根本矛盾:AI需要的不是一个只会做一件事的工具,而是一个知道"该用什么工具、怎么用、用完了怎么解读"的决策系统。
方法解读:把AI变成一个会用工具的"侦探"
论文提出的系统叫CoWorld Reasoner,中文可以理解成"共同世界推理者"。它的核心思路,是把视频世界模型当作一个统一的视觉推理引擎,然后围绕这个引擎,搭建了一整套"脚手架"(论文里叫Harness)。
**脚手架(Harness)**:论文中指围绕AI模型搭建的一整套支撑系统,包括工具、技能指南和执行代码,用来引导AI模型完成复杂任务,而不是直接依赖模型自身的能力。
这个脚手架里有四样东西:工具、技能、验证器、执行代码。听起来有点抽象,我们一个个拆开看。
先说工具。论文设计了四类视频生成工具,分别对应四种"想象"操作:视角变换工具、插值工具、延续工具、干预工具。每个工具都是对视频世界模型的一层包装,接收一个明确的请求,比如"用哪几张图作为起点,想要生成什么样的变化,哪些条件必须保持不变",然后把生成的视频返回给AI。
这里有个细节值得多说一句。论文特别强调,生成请求要"描述视觉变换本身,而不是预先设定任务答案"。这句话背后的用心在于防止作弊。如果让AI在生成视频的指令里直接写"显示红色物体最终在蓝色物体左边",那这个视频工具就不是在帮AI推理,而是在替AI编造证据了。这就好比考试作弊,你不能让"出题人"同时也是"答题人",必须让生成视频的过程保持中立,只还原物理规律,不预设结论。
再说技能。技能是一套套可复用的推理流程,告诉AI在什么情况下该选哪个工具、怎么构造请求、生成的视频该怎么解读。论文里设计了三类技能:跨视角技能、时序技能、因果干预技能。举个例子,跨视角技能会引导AI先追踪物体的身份(这是不是同一个红色锥体),再按照问题指定的参考系去判断空间关系。
这套"工具+技能"的组合,很像一个新手侦探刚入职时拿到的装备包。侦探手里有放大镜、指纹粉、紫外灯这些工具,但光有工具不够,还得有前辈留下的办案手册,告诉他什么线索该用什么工具查、查完了该怎么判断。工具是硬件,技能是软件,两者缺一不可。
整个推理过程被拆成了四个阶段,论文管这个叫能力边界评估、请求世界模型协助、视频解读、证据整合与推理。第一阶段,AI要先判断输入的图片够不够回答问题,如果够,直接作答,不浪费资源去生成视频;如果不够,才进入后面的流程,决定调用哪个工具、怎么构造请求。生成视频之后,AI会对照原始输入图片,检查这次生成是不是真的实现了想要的变换,必要时还会调用一个验证器,专门描述生成视频里发生了什么、有没有明显的瑕疵或不确定性。
这个设计其实在暗示一件事:生成的视频不是真理,它只是一份"预测的证据",AI必须带着怀疑的眼光去审视它,而不是全盘照收。
这套系统的样子画出来是论文里的图2,左边是工具和技能构成的"驾驶舱",右边是接下来要讲的进化机制。
核心创新:让AI和它的"摄影师"一起进化
光有一套固定的工具和技能还不够。论文的第二个核心贡献,叫做VLM-VWM脚手架协同进化,这是整篇论文里我觉得最有意思的部分。
问题出在哪儿呢?论文提到一个很关键的观察:生成请求的构造方式和生成结果的解读方式是高度耦合的。你如果改变了"怎么向视频模型提出请求",那么生成出来的视频里能看到的线索也会跟着变,解读这些线索所需要的指导也得跟着调整。这两者不能分开优化。
打个比方,这就像一个摄影师和一个侦探在联手破案。摄影师负责按照侦探的要求去实地拍照取证,侦探负责根据照片推断真相。如果摄影师换了个拍摄角度或者曝光参数,侦探原来那套"怎么看照片找线索"的经验可能一下子就不管用了。如果摄影师的拍摄习惯一直在变、侦探的判读方法却一成不变,两人配合就会越来越差。反过来说,如果两人能根据一次次案子的结果,一起调整"该怎么拍"和"该怎么看",配合才会越磨合越顺。这正是论文要解决的问题:工具的生成方式和技能的解读方式必须同步进化,不能各自为政。
具体怎么做呢?论文设计了一个监督者(supervisor),这个监督者由同一个VLM驱动,在四个推理阶段的每一个阶段,都会审查执行过程中留下的痕迹(论文叫execution traces),然后提出修改建议,这些建议可能涉及工具的接口定义、技能的工作流程、验证器的指令,甚至是执行代码本身。
**执行痕迹(execution traces)**:AI在完成任务过程中留下的记录,包括它调用了哪些工具、生成了什么内容、做了哪些判断,这些记录被用来诊断系统哪里出了问题。
整个进化过程遵循着一个"运行、总结、修订、重跑"的循环。每个阶段最多允许5次修订,监督者可以提前喊停。修订完成后,监督者会在所有候选版本里挑出表现最好的一个,带着对应的交互历史,传给下一个阶段。四个阶段走完一轮之后,再从头开始新一轮,论文里用了3轮进化。这个过程中,VLM和VWM本身的参数是完全冻结不动的,变的只是围绕它们的这套脚手架:工具怎么定义、技能怎么写、代码怎么执行。
这个设计思路其实回应了一个现实困境。如果你想让一个系统变得更好,你有两条路可以走:一条是重新训练底层的大模型,这个成本极高,而且很难针对具体任务做精细调整;另一条是不动模型本身,只调整模型外围的"使用说明书"和"工作流程"。论文选择了后者,这也解释了为什么标题里要强调"模型权重保持固定"这件事,这不是技术限制,而是刻意的设计选择,目的是让整套系统的改进变得可追溯、可控制、成本更低。
实验结果:数字说话
说了这么多设计思路,实际效果怎么样呢?论文在七个基准测试上做了验证,涵盖空间智能、时序因果推理、感知推理三大类。
最核心的一组数据是这样的:用GPT-5.6搭配MiniMax H3视频生成模型的组合,CoWorld Reasoner在全部七个基准上都超过了直接推理的基线表现,其中MMSI基准(多图像空间智能测试)相对提升了11.8%,ERQA基准(结合空间、物理、世界知识的推理测试)相对提升了13.0%。
这里有个对比特别有说服力。论文同时测试了五个"进化型"竞争对手,包括HSI、ReasoningBank、Meta-Harness、ExpeL、GEPA,这些方法都是通过迭代修改提示词、记忆库或代码来提升性能的思路,但它们都没有引入视频生成这个环节。结果是,这五个对手在整体表现上全部低于直接推理基线,而CoWorld Reasoner在五个基准上都超过了这五个对手。
| 方法 | MMSI | SAT | Spin | SpatiaLab-MCQ | ERQA | CausalSpatial | PerceptionBench |
|---|---|---|---|---|---|---|---|
| GPT-5.6直接推理 | 38.35 | 88.33 | 82.24 | 56.64 | 51.75 | 60.72 | 50.84 |
| + GEPA | 38.87 | 87.67 | 79.92 | 54.86 | 59.75 | 62.51 | 47.61 |
| + CoWorld Reasoner | **42.89** | **89.67** | **83.76** | **57.36** | 58.50 | 60.79 | **51.35** |
这组数字说明了一件事:单纯在文字层面反复打磨提示词和记忆,不一定能应对需要"看见看不见的东西"这类任务,有时候甚至会把表现拉低。生成视频这个动作,对于这类空间和因果推理问题来说,提供的是一种文字优化给不了的增量信息。
论文还专门做了一个剥离实验,把视频生成工具关掉,只保留技能指导和四阶段流程。结果显示,在CausalSpatial的遮挡(Occlusion)和碰撞(Collision)两个子任务上,开启视频生成工具带来的提升最大,分别达到5.36和2.55个百分点。这个结果其实很符合直觉,遮挡和碰撞这类问题本质上就是"中间发生了什么没被看到"的问题,生成视频恰好能把这段缺失的过程补上。
但也不是所有任务都吃这一套。SAT基准里的视角转换(Perspective Taking)子任务,在关掉视频工具之后分数依然很高,说明这类任务本身的推理难度主要靠逻辑梳理就能解决,生成视频反而没有额外帮助。这提醒我们,视觉想象力不是万能药,用对地方才有效。
论文里还有个有意思的发现,关于工具和技能的使用频率。研究者统计了在不同基准上,AI到底多频繁地调用了技能和工具。在MMSI测试里,AI主要加载跨视角技能和时序技能,调用视角变换工具和插值工具的比例相当高;在CausalSpatial测试里,AI主要用因果干预技能,配合干预工具和延续工具;而在PerceptionBench这种偏重直接感知(比如数数、看文字)的测试上,技能和工具几乎很少被用到。这说明系统学会了"看菜下饭",知道什么时候该出动重型装备,什么时候直接动手就够了。
这就像一个经验丰富的医生,面对普通感冒不会动不动就安排CT扫描,但遇到疑难杂症就会果断建议做核磁共振。工具用在刀刃上,才是真正的智能。
视频生成模型的选择也会影响最终效果。论文对比了MiniMax H3 Max Turbo和LTX-2.3这两个视频世界模型,结果显示H3带来的提升在各个基准上普遍更大,而LTX-2.3在CausalSpatial上甚至略低于直接推理基线。这说明脚手架的设计思路具有一定的通用性,可以在不同视频生成引擎之间复用,但引擎本身的生成质量上限,依然决定了整个系统能达到的天花板。
论文还做了一个"迁移"实验,把为GPT-5.6训练好的脚手架直接搬到Grok-4.5上,只额外跑一轮进化。结果整体准确率从32.86%提升到39.78%,其中PerceptionBench和Spin基准提升最明显。这意味着脚手架里积累的"怎么选工具、怎么构造请求、怎么解读视频"这些流程,并不是和某个特定模型深度绑定的,换一个大脑,这套办事方法依然管用。这有点像一套成熟的工作流程手册,哪怕换了新员工,只要照着手册办事,新人也能快速上手,不需要从零摸索。
从论文附录里的案例可以看到这套系统具体是怎么运作的。比如有一道题问:如果把堆叠盘子里最下面那个拿走,剩下的盘子会怎样?AI最初的直觉判断是"其他盘子会倒塌",但调用干预工具生成视频之后,画面显示剩下的盘子其实稳稳地留在原位,没有任何塌陷迹象,AI随即推翻了自己最初的猜测,改选了"什么都不会发生"这个答案。这个例子特别能说明问题:很多时候,人类的直觉推理("抽掉底座肯定会倒")其实是不严谨的,真正的物理规律需要通过观察或模拟才能验证,而不是单纯靠常识脑补。
从这篇论文往后看,研究者在结论部分提到了未来的方向,是尝试测试时训练,让脚手架、VLM、VWM三者能够同时协同进化,而不只是固定模型权重去调外围流程。这意味着目前这套方法还只是"半成品"式的进化,距离真正的三位一体协同优化,还有一段路要走。
写在后面
读完这篇论文,让我印象最深的其实不是那些准确率提升的百分点,而是论文里反复强调的一个细节:生成请求必须描述视觉变换本身,不能预设答案。这句话看起来不起眼,但它其实揭示了一个很容易被忽视的陷阱。
你给AI配一个能生成视频的工具,初衷是让它去"验证"自己的猜测,但如果监控不到位,这个工具很容易变成AI自我验证的橡皮图章,生成的视频恰好印证了AI一开始就想要的答案,整个系统看起来在推理,实际上只是在自说自话。论文花了篇幅专门设计验证器这个角色,让它独立于主推理链路,只负责客观描述生成视频里发生了什么,这其实是在给系统装一道"防止自欺欺人"的保险丝。
另外一个值得琢磨的地方是,论文里五个对比的进化型基线方法全部表现不如直接推理,这个结果其实挺扎心的。这说明单纯堆砌"让AI自我反思、自我改进"这类机制,如果没有引入真正新的信息来源(比如这里的视频生成),很可能只是在原地打转,甚至越改越差。这提醒我们,所谓的"自我进化"如果只是在同一套信息里反复咀嚼,边际效益是很有限的,真正的突破往往来自引入一个全新维度的信息,哪怕这个信息是"想象"出来的、不完全可靠的。
还有一点让我觉得挺有意思,CausalSpatial这个基准测试的名字直译过来是"因果空间推理",论文专门为这类题目设计了因果干预技能和对应的工具。这类似于让AI学会做"假如……就会……"这种反事实思考,而不只是描述眼前看到的东西。这种能力如果能进一步发展,或许会和人类做决策、做规划时用到的心理模拟机制越来越接近,这是一个值得持续追问的方向。
你有没有想过,当AI开始学会在脑子里"拍电影"来验证自己的猜测时,它和那个盯着照片苦思冥想、在脑海里反复推演各种可能性的人类,到底还差多远?
Q&A
Q1:CoWorld Reasoner是什么?
A:CoWorld Reasoner是一个让AI模型在回答复杂视觉问题时,能主动调用视频生成模型来"想象"没有被直接观察到的画面(比如换个视角、推演运动过程)的智能推理框架,由香港理工大学等团队提出。
Q2:CoWorld Reasoner和以往的视频世界模型方法有什么不同?
A:以往的方法通常只针对一种固定任务(比如只做新视角生成),而CoWorld Reasoner提供了视角变换、插值、延续、干预四类工具,并让AI自主判断该用哪种,同时引入协同进化机制持续优化工具和使用技巧。
Q3:CoWorld Reasoner的效果提升明显吗?
A:在七个基准测试中全部超过直接推理,MMSI基准相对提升11.8%,ERQA基准相对提升13.0%,并且在五个基准上超过了五种同类进化型方法。







