你有没有玩过这样一个游戏:盯着一段视频,猜摄像机到底往哪儿动了?
听起来挺简单的对吧。左右前后,无非那几个方向。可如果我告诉你,现在最先进的那些视觉语言模型(也就是能看视频还能聊天回答问题的AI),面对"摄像机是往左移还是往右移"这种问题,正确率大概只有五成出头,跟扔硬币猜差不多,你会不会觉得有点离谱?
**视觉语言模型**:一种能同时理解图像/视频和文字的AI模型,可以看懂一段视频内容,并用自然语言回答关于这段视频的问题,比如"这是什么场景""发生了什么"。
这事儿是真的。2025年有篇论文叫CameraBench,专门测试了一堆主流AI模型对摄像机运动的理解能力,结果大部分模型表现跟瞎猜没什么两样。而人类在同样的测试里能达到86%的正确率。这中间的差距,不是一星半点。
这就有意思了。这些AI能解复杂的数学题,能看懂长达一小时的视频内容,能在多步骤推理里表现得像模像样,怎么偏偏在"镜头往哪儿动"这种看似最基础的空间判断上翻车了?
这篇来自香港科技大学(广州)和腾讯联合团队的论文,就是奔着这个问题去的。他们不仅找到了症结所在,还造出了一个只有9B参数(也就是90亿参数,在动辄几千亿参数的大模型世界里算是相当轻量级)的模型CameraVLM,在三个权威基准测试里超越了二十多个对手,甚至追平乃至反超了传闻中参数量高达6万亿的GPT-6 Astra,以及真人志愿者的平均水平。
这篇论文到底解决了什么问题,又是怎么解决的?我们慢慢捋。
问题到底难在哪
先说清楚一件事:为什么判断镜头运动方向这么难。
你可能觉得,不就是看画面往哪个方向滑动吗?其实没那么简单。镜头运动和画面里物体的运动,经常是混在一起的,光靠肉眼扫一遍画面很容易被骗。
论文里举了几个特别精妙的例子。
第一个例子是"摇镜"和"横移"的混淆。
**摇镜(Pan)**:摄像机固定在原地,像人转头一样左右转动镜头方向。
**横移(Truck)**:摄像机本身整体向左或向右平移,镜头朝向不变。
这两种运动在画面上造成的效果,短时间内可能看起来几乎一样,尤其是当画面里的物体都离镜头比较远、深度差异不明显的时候。论文用了一个数学推导(基于视觉伺服中的图像雅可比矩阵)证明,当画面里所有点的深度几乎相同时,摇镜和横移产生的图像运动在一阶近似下是无法区分的。只有当画面里同时存在近处和远处的物体,产生了"视差"(近处的东西动得快,远处的东西动得慢),这两种运动才能被真正分开。
这就好比你坐在一辆匀速直线行驶的火车上看窗外,如果窗外是一片空旷无垠的荒漠,你很难判断火车到底是在直线前进还是车身在缓慢转向,因为景物变化太均匀了,没有参照物告诉你差异在哪里。但如果窗外既有近处飞速掠过的电线杆,又有远处几乎静止的山脉,你立刻就能感受到"车在往前开"这件事,因为近的东西和远的东西运动速度不一样,这种速度差本身就是信息。如果AI没有办法捕捉这种深度差异带来的视差信号,它就永远只能靠画面的整体平移方向猜,猜错一半很正常。
第二个例子更绝,是"变焦"和"推轨"的区分。
**变焦(Zoom)**:不移动摄像机位置,只是改变镜头焦距,让画面放大或缩小。
**推轨/dolly**:摄像机本身朝着被摄物体物理移动,靠近或远离。
这两种操作造成的视觉效果,在瞬间看起来可能完全一样,画面都在放大。论文证明,如果画面里所有可见点都处在同一个深度,变焦和推轨产生的瞬时缩放速率可以做到完全重合,数学上严格相等。唯一能区分它们的,是当画面里存在不同深度的物体时,推轨会让近处物体放大得更快、远处物体放大得更慢(因为推轨改变的是物理距离,距离越近变化越明显),而变焦对所有深度的物体都是统一比例放大。
这就像你用手机拍照时,手指在屏幕上做"捏合放大"的手势,和你真的拿着手机往前走近被拍摄的东西,这两种操作在某一帧截图上可能长得一模一样。但如果照片里同时有一朵近处的花和一座远处的山,手指缩放会让花和山同比例放大,而你走近拍摄则只会让花变大很多,山几乎不怎么变。如果AI只盯着"画面整体是不是在放大"这一个线索,它永远分不清这是镜头语言还是物理移动,必须去看画面里不同物体之间放大速度的差异,这种差异恰恰需要模型理解深度结构。
第三个例子跟"参照系"有关,这个更抽象一点,但其实特别贴近生活。
论文里给了一个场景:两个人面对面坐着喝茶,桌上有一个杯子。如果问"杯子在哪一边",答案取决于你问的是谁的左边。对坐在A位置的人来说杯子在左手边,对坐在B位置的人来说同一个杯子却在右手边。这两个答案都对,因为参照系不一样。
摄像机运动的语言描述也是这个道理。论文举了跟拍镜头的例子:当摄像机跟着一个走路的人移动时,相对于街道,摄像机确实在移动,但相对于被跟拍的那个人,摄像机几乎是静止的。同一段视频,如果问题问的是"摄像机相对于背景怎么动",和"摄像机相对于被拍摄者怎么动",答案可能完全相反。
这就跟你在地铁上和朋友聊天一样,如果朋友问你"你刚才有没有动",你得先搞清楚他问的是相对于地铁车厢你动没动(没动,你一直坐在座位上),还是相对于地面你动没动(动了,因为地铁在跑)。同一个物理事实,因为参照系不同,答案可以是两个截然相反的"是"和"否"。如果一个AI模型在训练时只学过"固定参照系"下的标准答案,一旦问题换个说法改变参照系,它就彻底懵了,因为它学到的只是表面的运动标签,而不是运动背后那套可以灵活套用参照系的逻辑。
这三个例子合在一起,说明了一件事:镜头运动理解,表面上看是个简单的方向判断题,实际上需要模型同时搞清楚两件事,一个是镜头本身在三维空间里到底经历了什么样的平移、旋转和焦距变化(论文里管这个叫"屏幕外的动态",因为摄像机本身是不会出现在画面里的),另一个是画面里每个点、每个物体在屏幕上是怎么运动的(论文里管这个叫"屏幕内的动态")。单独看任何一个都不够,两者必须结合起来看,而且还得配合问题里指定的参照系去解读。
论文团队梳理了之前的研究路径,发现大家基本是两条路分头走的,谁也没把这两件事拧在一起。
一条路是"堆数据",比如CameraBench和ACaM这些工作,收集大量标注好摄像机运动类型的视频,让模型学着把视频映射到"摇镜""推轨""变焦"这些固定的标签上。这种方法在它训练过的那个基准测试里表现不错,但换一个测试集就经常掉链子,说明它学到的更像是某种特定数据分布下的模式匹配,而不是真正理解了背后的几何逻辑。
另一条路是"加几何信息",比如往模型里塞摄像机位姿、深度图这些显式的三维信息。论文里提到的DepthLM、Cambrian-P、VLM-3R这些工作都属于这一类。听起来很合理对吧,既然问题跟几何有关,那就直接给模型几何信息。可实验结果却挺打脸的:这些带了几何信息的模型,表现并没有比同等规模的普通视觉语言模型好多少,有些反而更差。
为什么会这样?论文给出的解释是,这些方法往往把几何表示单独训练成一个姿态估计器或深度估计器,训练完之后再简单拼接到语言模型上,语言模型本身并没有真正学会"读懂"这些几何状态,更没有学会把几何状态和画面里的运动线索结合起来,再配合问题里的参照系去推理出最终答案。换句话说,几何信息是有了,但语言模型根本不知道怎么用。
这就好比给一个完全不懂乐谱的人发了一份专业的交响乐总谱,纸是给了,信息也确实在上面,但接收的人压根看不懂那些音符代表什么,这份总谱对他来说跟废纸没什么区别。如果不把乐谱和他已经熟悉的音乐语言对应起来教他怎么读,单纯多塞一份资料不会让他突然学会指挥交响乐。
CameraVLM是怎么设计的
搞清楚了问题的本质,论文提出的解决方案其实思路挺清晰的:既然需要两样东西结合(屏幕外的摄像机几何,加上屏幕内的画面运动),又需要这两样东西能被语言模型真正理解,那就分别设计两套状态表示,再用一套训练策略把它们和语言深度绑定在一起。
具体来说,CameraVLM在原本的视频和文字输入之外,额外引入了两类特殊的标记(token)。
第一类叫**摄像机标记(Camera Token)**:每一帧视频对应插入一个可学习的标记,这些标记在经过模型主干网络处理之后,会被解码成具体的摄像机参数,包括平移、旋转和视野角度的变化,用来表征摄像机在三维空间中真实经历的运动。
这些摄像机标记不是孤立训练的,它们是混在视频的其他标记里,一起被整个模型的注意力机制处理的,这样每一帧的摄像机状态都能参考整段视频的上下文信息来推断,而不是孤立地看单帧画面猜测。推断完之后,会有一个专门的"摄像机头"模块,通过自注意力机制和多轮迭代refinement,把这些标记的隐藏状态精确解码成具体的平移向量、旋转四元数和视场角数值。
第二类叫**光流标记(Flow Token)**:这部分负责捕捉画面里具体点的逐帧运动轨迹,也就是背景和主体在屏幕上到底是怎么移动的,是否发生遮挡。
光流管线的设计参考了CoWTracker这个跟踪方法,先在画面上均匀撒一个16x16的网格点(相当于256个锚点),不预先指定哪些点属于前景哪些属于背景,让模型自己去判断每个点的运动轨迹、是否可见、以及预测的可信度。这些密集的轨迹信息最后通过一个注意力池化模块压缩成固定数量(64个)的光流标记,送进语言模型的主干网络。
这里有个设计细节特别值得说一说:为什么要用均匀网格而不是先用某种检测器挑出"重要的点"?
论文团队的考虑是,如果提前预设哪些区域是"主体"哪些是"背景",等于是把判断权提前交给了另一个独立的检测模块,而这个检测模块本身很可能就是出错的源头。比如一辆车快速驶过镜头前,如果检测器把"车"标记成主体,模型可能就会默认车的运动等于相机运动的反面,但实际上真正需要分析的可能是背景建筑物的视差变化。所以CameraVLM选择了更朴素但更可靠的策略:均匀撒点,把每个点的运动信息都保留下来,具体哪个点该解读成什么角色,交给后面和问题一起联合推理的阶段去决定。
这就像一个侦探破案,与其提前锁定某个嫌疑人、只收集跟他有关的证据,不如先把现场所有的痕迹都完整采集下来,哪怕看起来不相关的脚印、指纹都留存,等到综合分析问题指向和证据关系的时候,再决定哪些证据是关键的。如果一开始就只盯着一个嫌疑人收集证据,一旦锁定的方向错了,整个案子就废了。
有了这两类标记之后,剩下的关键问题是:怎么让语言模型真正学会"读"这些状态,而不是把它们当成无关的噪音忽略掉?
这就是论文的第二个核心贡献:**状态-语言对齐(State-Language Alignment)**,通过一套两阶段训练策略来实现。
第一阶段叫"状态接口适配"。这个阶段把语言模型主干整体冻结住不让它更新参数,只训练新加入的摄像机和光流模块,视觉编码器则用很小的学习率微调。关键的巧思在于,即便语言模型是冻结的,用来回答问题的那部分损失函数(QA损失)依然会反向传播,一路穿过冻结的语言模型,回传到新加入的那些标记上。这样做的效果是,新标记在学习怎么表达摄像机和光流信息的同时,被迫去适应语言模型原本已经建立好的那套表示空间,而不是自说自话搞出一套语言模型看不懂的"方言"。
这个设计可以理解成这样一个场景:你请了一位新同事加入团队,这位同事专业能力很强,但刚入职对公司内部的沟通习惯和术语体系完全陌生。如果你直接让他单独闭关学习业务知识,学完再上岗,他很可能会用一套团队听不懂的表达方式汇报工作,大家还得重新花时间磨合。更聪明的做法是,从第一天开始就让他参与团队的日常汇报和讨论,哪怕一开始说得磕磕绊绊,但他是在跟既有团队的沟通语言做实时对齐,学到的专业知识天然就是能被团队理解和使用的。CameraVLM里语言模型主干权重虽然冻结着没有被更新,但QA损失这条反馈链路一直是打开的,相当于让新标记始终在"对齐团队语言"这件事上接受监督。
第二阶段叫"联合状态-语言适配"。这个阶段把语言模型主干也解冻,所有组件一起在完整的目标函数下联合优化,同时还混入了通用的视频问答数据,防止模型在专注学摄像机运动的过程中,把原本已经具备的通用视频理解能力给忘掉了(这种现象在深度学习里常被称为"灾难性遗忘")。
训练时还有个有意思的细节,论文设计了三种不同的训练样本类型,分别叫"纯视频样本"(摄像机标记完全靠模型从画面里自己推断)、"纯位姿样本"(直接把真实的摄像机位姿数值嵌入到标记里,不给视频,让语言模型单独学会"几何数值怎么对应到语言描述"这件事)、以及"视频加位姿样本"(两者都给,把推断出的状态和显式的几何真值绑在一起训练)。把这三种样本混合训练,能让摄像机状态和语言描述之间的对应关系真正进入模型的共享表示空间,而不是仅仅依附在摄像机标记这一个局部模块里。到了推理阶段,模型只能看到视频和问题,真实的几何标签是不存在的,所以这种混合训练策略相当于提前让模型练习了"只凭画面推断几何状态"这个最难的场景。
实验结果说了什么
光有设计思路还不够,数据才是硬道理。论文在CameraBench、CineTechBench、ShotBench三个主流摄像机运动理解基准上,对比了超过20个模型,涵盖开源通用模型、专门做几何感知的模型、专门做摄像机运动的模型,以及商业闭源模型。
| 模型类别 | 代表模型 | 参数量 | 平均准确率 |
|---|---|---|---|
| 开源通用模型 | Qwen3.5(骨干网络) | 9B | 55.16% |
| 开源通用模型 | Cosmos3-Nano | 16B | 64.96% |
| 几何感知模型 | Cambrian-P | 7B | 55.15% |
| 摄像机专用模型 | ACaM | 8B | 58.85% |
| 摄像机专用模型 | ShotVL-7B | 7B | 56.60% |
| 闭源商业模型 | GPT-6 Astra | 约6T(估计) | 81.59% |
| 真人平均水平 | — | — | 80.37% |
| **CameraVLM(本文)** | — | **9B** | **82.52%** |
这张表格里最打眼的一点是,CameraVLM只用了9B参数,却超过了参数量估计高达6万亿的GPT-6 Astra,也超过了真人志愿者的平均水平。而那些专门针对摄像机运动做了精调的模型,比如ACaM和ShotVL-7B,准确率都还在55%到59%这个区间徘徊,没能真正突破瓶颈。
细看各个具体的运动类别(比如摇镜Pan、俯仰Tilt、升降Crane、推轨Dolly、变焦Zoom、静止Static、晃动Shake、复合运动Composite),CameraVLM在大多数类别里都是领先的,在少数几个类别里也仅次于GPT-6 Astra排在第二。整体的全数据集池化准确率达到了85.48%,是所有对比模型里最高的,尤其是在"升降""推轨""横移"这几个几何上特别容易混淆的类别里,很多基线模型的准确率都掉到了55%以下,CameraVLM则保持了明显的领先优势。
论文还单独做了一个48人参与的人类用户研究,让专业电影摄影师、计算机视觉方向的学生以及摄像机运动研究者一起来答题,结果CameraVLM的整体表现跟人类平均水平非常接近,在某些测试里甚至反超了人类。
除了最终的问答准确率,论文还专门验证了那两类新增状态(摄像机状态和光流状态)是不是真的学到了有意义的几何信息,而不只是打了个酱油凑数据。
对于摄像机状态,研究团队在ScanNet、TUM RGB-D、Sintel这几个经典的摄像机位姿评估数据集上,直接拿CameraVLM里学出来的摄像机状态去做位姿估计测试,发现尽管CameraVLM本身不是专门为了做位姿估计而训练的(它的最终目标是回答问题),但位姿估计的精度依然跟一些专门做流式位姿估计的模型(比如StreamVGGT、CUT3R)相当,在Sintel数据集上甚至取得了所有流式方法里最好的平移误差和轨迹误差表现。
对于光流状态,团队在TAP-Vid DAVIS这个点跟踪基准上验证了光流标记的追踪能力,虽然光流管线是作为摄像机运动理解的辅助模块训练出来的,不是单独优化的跟踪器,但依然展现出了有竞争力的追踪精度和遮挡判断准确率。
这两组实验共同说明了一件事:CameraVLM不是靠死记硬背标签拿到的高分,它内部真的学到了连贯的、可以单独拿出来验证的几何状态表示,而这个状态表示又恰好能被语言模型拿来做推理,这正是论文最开始提出的那个核心论点的实证支撑。
论文还做了消融实验,逐一拿掉某个组件看效果变化。去掉光流状态之后,模型表现明显下降,说明光流信息对区分不同运动类型确实起到了关键的补充作用。如果同时去掉摄像机和光流监督,模型的表现几乎退回到了原始骨干网络的水平,证明了显式状态监督这件事本身是不可或缺的。只用单阶段训练而不做两阶段的状态-语言联合适配,效果也明显弱于完整版本,说明单纯堆状态表示还不够,必须配合那套让语言在训练全程保持参与的策略,两者缺一不可。
论文的附录部分还做了一个挺有意思的推理时掩码实验:在推理阶段故意把摄像机标记或光流标记遮住不让语言模型看到,结果发现性能只出现了很有限的下降。这个现象说明经过两阶段的状态-语言对齐训练之后,动态运动信息已经被分散融入到了整个共享的多模态表示里,不是单纯依赖某一类标记的"独家信息",这从另一个角度证明了对齐训练确实让信息真正渗透进了模型的整体认知,而不是停留在局部模块里孤立存在。
写在后面
读完这篇论文,有个细节让我反复琢磨了挺久:为什么加几何信息反而可能让模型表现变差?
论文里的解释很克制,说是因为那些几何感知模型"把几何表示训练成独立的姿态估计器或深度估计器",语言模型没有真正参与进来。但这句话背后其实藏着一个更普遍的道理,不只是在视觉语言模型这个领域成立:给一个系统塞更多信息,不等于这个系统就能更好地利用这些信息。信息和理解之间,隔着一道对齐的鸿沟,而这道鸿沟经常被技术方案的设计者忽略,因为"加信息"这件事做起来简单、听起来合理,验证起来却麻烦得多。
另一个让我觉得挺有意思的点,是论文里那个关于参照系的例子。两个人面对面坐着,杯子在A的左边同时也在B的右边,这个例子表面上在讲摄像机运动理解,但其实揭示的是一个更大的问题:任何涉及空间方向的判断,脱离了参照系都是没有意义的。而我们平时跟别人交流空间方位的时候,大多数时候是默认了一个共享的参照系才能顺畅沟通,一旦这个默认假设被打破(比如你在跟一个面对面站着的人说"你左边"),沟通立刻就会出歧义。AI在这件事上吃的亏,跟人类小时候学"左右"概念时吃的亏,本质上是同一类认知困难,这个联系我之前完全没想到过。
这篇论文目前聚焦的是单个镜头内部的运动理解,论文自己也承认还没有处理跨镜头剪辑之间的摄像机运动关系,也没有覆盖更长的电影叙事结构里摄像机语言的连贯性。如果未来有研究能把这套状态表示和对齐思路扩展到整部电影、整个剪辑序列的层面,摄像机运动理解或许能从"判断单个镜头怎么动"进化到"理解一段叙事里镜头语言想表达什么情绪和节奏",那又会是完全不同量级的挑战了。
Q&A
Q1:CameraVLM是什么?
A:CameraVLM是香港科技大学(广州)和腾讯联合团队提出的视觉语言模型,只有9B参数,专门用来提升AI对视频中摄像机运动方向的理解能力,在多个基准测试中超越了参数量远大于它的商业模型和人类平均水平。
Q2:为什么现有的AI模型分不清摄像机是左移还是右移?
A:因为摄像机运动和画面内物体运动经常混在一起,比如摇镜和横移、变焦和推轨在短时间内视觉效果极其相似,而大部分AI模型要么只靠标签数据训练缺乏几何理解,要么加了几何信息但语言模型没有真正学会使用这些信息。
Q3:CameraVLM是怎么解决这个问题的?
A:它引入了摄像机标记和光流标记两类特殊状态,分别捕捉屏幕外的真实摄像机运动和屏幕内的画面运动轨迹,再通过两阶段训练策略让语言模型在训练全程都参与学习这些状态,确保状态信息真正能被语言模型理解和使用。







