Token导航 LogoToken导航

AI 资讯 · 科技行者

K-Pop舞台镜头推拉致AI人体捕捉轨迹偏移

更新 2026-11-18科技行者正文 6979字阅读约 22分钟

你有没有想过,一段几秒钟的K-Pop舞台视频,镜头猛地往前推,去抓拍领舞的特写,然后又猛地拉远,扫过整个舞台,会让最先进的AI动作捕捉系统彻底"晕头转向"?

这不是夸张。来自国立阳明交通大学和波士顿大学的研究团队发现了一件挺让人意外的事:那些在学术榜单上表现完美的"世界空间人体恢复"模型,一旦遇到真实的广播级舞台视频,舞者的轨迹就会像被摄像机"吸"过去一样,整体往镜头方向滑动,滑动的幅度甚至能达到好几米。而镇在那些跳舞的人,其实稳稳站在原地没挪窝。

这篇论文做的事情,说白了就是侦探破案:先找出问题出在哪,再给出一个不需要重新训练模型、就能直接修好的解法。

舞者在原地跳,AI却说她在"穿越"

先说清楚这个领域在干什么。

所谓世界空间人体恢复,指的是从一段视频里,同时搞清楚两件事:摄像机自己是怎么动的,以及画面里的人在真实世界坐标系中是怎么动的。这听起来有点绕,换个说法就是,你拍视频的时候手机在动,画面里的人也在动,AI得把这两种"动"给拆开,然后把人的动作还原到一个固定不变的、类似"舞台地板"的坐标系里。

这件事的应用价值不难想象,比如编舞分析、虚拟拍摄、数据生成,都得先把人的真实位置搞对才能往下做。

目前做这件事的主流思路分两种。

一种是直接从动作本身猜世界坐标,比如看一个人走路的姿态、步频,推测他在真实空间里挪动了多远。但这招有个硬伤:如果一个人原地跳舞,他的步态根本不包含"位移"信息,这套方法就会瞎猜。

另一种叫组合式方法,先用视觉里程计(Visual Odometry,简称VO:一种只靠视频画面推算摄像机自己移动轨迹的技术,不需要GPS或任何额外传感器)算出摄像机怎么动,再用人体网格恢复模型(Human Mesh Recovery,简称HMR:把图片里的人转换成一个三维人体模型,比如常用的SMPL模型,这个模型能描述人的体型、姿势,并生成贴合的三维网格)算出人在摄像机坐标系里是什么姿势、站在哪,最后把这两个结果"拼"到一起,变成人在真实世界里的位置。

这套组合式方法在现有的几个权威测试集上表现相当不错,比如3DPW、RICH、EMDB这几个数据集。但研究团队留意到一个共同点:这些测试集里的摄像机大多是"温和"地移动,很少出现猛烈的推拉镜头。

于是团队做了一件很直接的事:拿现成的组合式方法去跑K-Pop广播视频,结果发现舞者的世界空间轨迹严重"跑偏",而且在画面上,人物的网格叠加也开始跟不上图像了。

这就像你去医院体检,各项指标在"安静状态"下测都正常,但医生非要让你跑个步再测,心率表突然乱跳。安静状态掩盖了问题,运动状态把它暴露出来了。如果体检只测安静状态,这个心脏问题可能永远被漏诊。K-Pop视频对AI模型来说,就是那个"跑步测试"。

案发现场:摄像机没问题,人体姿势也没问题,问题出在哪儿?

团队没有急着下结论,而是像侦探一样,把整条处理链拆开一步步排查。

第一个嫌疑人:HMR模型本身,也就是那个负责"看图识人"的部分。

K-Pop舞台视频里,演员经常很小、挤在一起、镜头忽远忽近,画面里人的"视觉大小"变化很快。研究者担心是不是这种复杂场景把HMR模型搞糊涂了。但他们逐帧检查后发现,每一帧单独拿出来看,人体姿势网格都贴合得挺好,不管镜头怎么拉近拉远,人的轮廓对得上。这个嫌疑人被排除了。

第二个嫌疑人:视觉里程计,就是那个推算摄像机轨迹的模块。

广播视频换镜头快、背景常变,确实很容易把VO搞乱。团队用了一个很巧妙的检验方法,叫时间反转穿梭测试(Time-reversal shuttle test:把一段视频正着跑一遍、倒着跑一遍,分别推算摄像机轨迹,再用一次相似变换对齐两条轨迹,看它们重合得好不好。如果VO真的靠谱,正着推和倒着推应该得到基本一致的轨迹)。

这个检验的思路其实很聪明。如果VO模型真的理解了场景的几何结构,那么无论你顺着时间轴播放还是倒着播放,它推算出来的摄像机路径应该是同一条路,只是方向相反。打个比方,你开车从A开到B,别人倒放这段行车记录仪视频,推算出来的路线应该还是那条路,不会突然多出几个弯道。

团队跑了这个测试,发现K-Pop视频里被挑出来用的那批片段,S-ATE(Shuttle Absolute Trajectory Error,穿梭轨迹误差:衡量正向和反向两条轨迹对齐后差多少的指标,数值越小说明VO越自洽)数值和一个专门测试平稳行车视频的参考集相当接近。也就是说,摄像机轨迹本身是自洽的,没有乱来。第二个嫌疑人也洗清了。

两个主要环节都查清白了,问题到底藏在哪?

答案是:藏在"拼接"这个动作本身。

真凶浮出水面:两套各自为准的尺子,拼在一起就错位了

这里要讲清楚整篇论文最核心的发现。

VO推算出来的摄像机移动量,和HMR推算出来的人体在摄像机坐标系里的位置,这两者各自都是单独估算出来的,而且各自带着一个"自己的尺度"。

什么叫"自己的尺度"?因为视频是单目拍摄的,没有深度传感器,所以无论是VO算摄像机挪了多远,还是HMR算人离镜头多远,本质上都只能算出一个"相对比例",而不是绝对的米数。这就好比你拿两把尺子量东西,一把尺子说"摄像机往前挪了3个单位",另一把尺子说"按我的计量方式,摄像机其实挪了5个单位"。这两个"单位"原本就不是同一个刻度,但组合公式却想当然地把它们当成了同一个尺度直接相减相加。

论文里有一个特别形象的例子。假设VO算出摄像机往前推了3个单位,而HMR那边看到的画面里,人的"视觉距离"却缩小了相当于5个单位的量(因为镜头推近,人在画面里变大了,这个变化幅度被HMR那套系统换算成了5个单位)。公式为了让这两头的数字都"对得上",就会把那个本来站着不动的舞者,硬生生往摄像机方向挪了2个单位。

这就是漂移(drift)的根源:一个在真实世界里压根没动的演员,因为两套尺度不匹配,在AI重建的三维世界里"被迫"跟着镜头的推拉而移动。

这个解释有一个很漂亮的验证方式。团队去找那些舞者原地站定不动的片段,这时候真实的位移应该是零,任何被算出来的位移都是误差本身,而不是舞者的真实动作。他们在多段K-Pop视频里专门挑这种"静止区间"做检验,结果发现漂移量确实跟着摄像机的移动路径走,而且摄像机移动得越多,漂移就越严重。这完全印证了尺度不匹配的猜想。

研究者还注意到一个细节:这种漂移在现有测试集上几乎看不出来,恰恰是因为那些测试集里摄像机移动得很"克制"。公式里的漂移项是跟摄像机位移成正比的,摄像机动得少,漂移自然就小,小到被淹没在正常误差里。广播级镜头动辄大幅度推拉摇移,这个原本隐身的误差项就被放大到了肉眼可见的程度。

案子破了,接下来怎么修?

既然病因找到了,药方也就水落石出:既然两套尺度不一致是因为各自带着未知的比例因子,那就想办法把这个比例因子从数据里"解"出来。

论文把这个比例因子记作s,当s等于1时表示两套尺度完全一致,没有误差;当s不等于1时,静止的人就会沿着摄像机的移动方向产生大小为(1-s)倍摄像机位移的"虚假漂移"。

团队利用脚部接触置信度(foot contact confidence:HMR模型在预测人体姿势的同时,还会给出一个数值,表示它有多确信某个脚部关节此刻正踩在地面上,数值在0到1之间)来寻找那些"演员脚踩实地、基本不动"的时间窗口。只有在这种窗口里,才能确定演员的真实位移接近零,从而把观测到的漂移完全归因于尺度误差。

但光靠脚部接触还不够可靠,因为有可能脚踩着地但身体其实在小幅平移,或者摄像机旋转的误判也会掺进来干扰判断。所以团队又加了两道筛选关卡:一是检查演员的位移方向是否严格沿着摄像机移动的方向(因为按公式推导,纯粹的尺度误差只会让人沿着摄像机路径漂移,如果位移方向偏离这条路径太多,说明可能是演员自己真的在动,这个区间就要被排除);二是估算摄像机旋转误差可能带来的干扰量,只有当真实的平移信号明显大于旋转误差造成的噪声时,这个区间才会被采纳。

经过这些筛选留下来的时间窗口,团队用一个加权最小二乘法去求解那个尺度因子s,而且这个求解过程是闭式解,意思是有一个现成的数学公式可以直接算出答案,不需要靠神经网络反复训练去逼近,几乎是秒算出结果。

算出s之后,怎么用?公式很简单:把摄像机的位移乘以这个修正后的尺度s,再重新和人体位置拼接。这个操作对整段视频里所有演员统一生效,相当于把整个表演团体当成一个刚体,一起往"正确"的方向挪一下,纠正镜头造成的集体漂移,但保留演员之间原本的相对站位关系不变。

这里有个挺重要的工程选择:团队没有去对每个人单独算一个尺度,而是对整段视频算一个共享的尺度。这是因为广播镜头在三个维度上同时移动(不是单纯往前推,还会左右摇、上下移),如果按单个方向分别拟合再拼起来,反而会引入新的不一致。相当于你给一支舞蹈队调整整体站位,而不是让每个人各自瞎挪,否则队形很快就乱了。

修完之后,还得再精修一遍

光靠这个闭式解还不够完美,所以团队在后面接了一个物理约束优化(Physically Grounded Optimization,简称PGO:一套通过多种约束项联合优化的流程,确保重建结果既符合图像里实际观察到的人体姿态,又符合物理世界的常理,比如脚不能悬在半空、不能穿模等)。

这个优化过程里有几个比较巧妙的设计。

一个是时间性互斥损失(Temporal Repulsion Loss),专门用来解决多人密集编舞时常见的"穿模"问题,也就是两个演员的身体网格在三维空间里互相重叠、插进对方身体里的尴尬情况。这就好比地铁早高峰车厢里的乘客,系统得保证大家不会"叠罗汉"地站在同一个位置,而且这种拥挤的调整要分摊到相邻的几帧上,而不是生硬地在某一帧突然把人"弹开",否则动作看起来会一卡一卡的。

另一个是接触感知的运动损失,简单说就是,当某个关节被判定正接触地面时,这个关节在接下来几帧里的移动量应该很小,用来压制那种"脚看起来踩在地上却在不停打滑"的现象,论文里叫作foot skating(脚部滑移:脚部在视觉上接触地面,但在三维重建结果里,脚的位置却在不断小幅度地移动,看起来像是脚底打滑,是三维人体重建中一种常见的物理不合理现象)。

团队还发现一个有趣的现象:仅靠PGO这套物理优化,也能把一部分漂移"压"下去,但如果不配合前面那个闭式尺度修正,PGO会把漂移从比较大的量级压到一个中等量级,却压不干净,静止的演员依然会在场景里慢慢"爬行"。只有两者配合,闭式解先把大方向的尺度错误纠正,PGO再精修细节,才能真正把演员的位置钉死在原地。

论文给出的实验数据很直观:在100个最动态的K-Pop片段上,不加漂移修正时,二维重投影的PCK指标是0.727,加上之后提升到0.839;三维世界空间的抖动(Jitter)指标从32.17毫米降到15.88毫米,脚部滑移从31.08毫米降到18.57毫米,几乎每个指标都在变好。

拿什么当"标准答案":固定机位摄像机

广播视频本身是没有世界坐标真值的,没人能告诉你舞者"真的"站在舞台哪个坐标点上。研究团队想了个办法:去找那些同时被广播镜头和场馆固定机位拍摄的演出。

场馆固定机位基本不怎么移动,始终把整个表演团体框在画面里,所以它重建出来的结果受镜头漂移的污染很小,可以当作一个相对可靠的参照系。

团队手工配对了11段时间同步的片段,涵盖989帧、78位表演者,用这些配对数据算出一个叫做Ratio(比例)的指标,表示某个方法重建出的世界空间位置,跟参照系相比,整体缩放比例应该乘以多少才能对齐。理想情况下这个比值应该是1。

结果显示,论文提出的方法得到的比值是0.90,是所有被比较方法里最接近1的,而且在WA-MPJPE(一种衡量世界坐标系下关节位置误差、并做过轨迹对齐的指标)、W-MPJPE(未对齐情况下的世界坐标关节误差)、以及Pair Distance(衡量两两演员之间距离误差的指标)上都是表现最好的,甚至超过了用来构建参照系所依赖的PromptHMR方法本身。

这里有个很值得琢磨的细节:论文发现有些方法在单张画面里看起来位置挺准,但整段视频拉出来看,轨迹却散得到处都是,这种"滑动"问题在单帧快照里完全看不出来,只有把整段轨迹拉出来对比参照系,才会发现问题被稀释掩盖了。这跟体检报告里的"瞬时正常值"陷阱很像:你量一次血压显示正常,但如果连续24小时监测,可能会发现血压其实在剧烈波动,只是你恰好在它正常的那一刻测了一下。

这套方法在不同的"地基"上也站得住

一个修正方案如果只能在特定的VO或HMR组合上生效,价值就会大打折扣。团队特意做了跨组件的测试,把这套漂移修正分别套用在不同的视觉里程计(比如ViPE、masked DROID-SLAM、DA3)和不同的人体恢复模型(比如PromptHMR-Vid、GVHMR、TRAM)上。

结果显示,不管底层用的是哪套系统组合,加上这套修正后,世界空间的抖动和脚部滑移指标普遍大幅下降,哪怕是在原本表现很差的组合上(比如PromptHMR配合masked DROID-SLAM,原本的抖动数值是惊人的449万毫米级别,加上修正后降到27.53毫米),改善幅度也相当惊人。这说明这套修正方法抓住的是一个具有普遍性的底层问题,而不是针对某个特定模型打的补丁。

论文里也提到一个比较特殊的参照方法叫HAC,它采用的思路是把人体当作一个"量尺",直接从HMR预测的关节绝对深度里反推尺度,然后给每个人单独算一个尺度,再取平均。这个方法因为跳过了后续的物理优化步骤,二维重投影效果看起来不错,但由于每个人的尺度各自估算、互相不协调,它在跟固定机位参照系对比时反而是离得最远的,这也从另一个角度印证了,光靠单帧的、逐人的尺度估计并不足够,需要在整段视频、整个团体的层面上统一处理。

什么情况下这套方法会失手

论文也坦率地指出了局限。

如果一个演员在视频里被长时间遮挡(比如被别的舞者挡住好几秒),HMR在这段时间里给出的摄像机空间深度估计可能本身就是错的。而这套修正方法是对整段视频、整个团体统一施加一个尺度,相当于把所有人"打包"挪动,它没办法单独修复某一个人身上已经出错的深度估计。论文里展示了一个具体案例:被长时间遮挡的演员,在重建结果里会被放到离团体好几米远的位置,等遮挡结束后位置才慢慢恢复正常。

另外,这套闭式解假设整段视频(已经按镜头切换点分割过的片段)共享同一个尺度因子。如果同一个镜头内部,尺度本身就随时间发生了变化,这套方法目前是没法捕捉到的。团队也做了对比实验,尝试把单一尺度换成随时间变化的尺度,结果发现虽然二维重投影指标基本不变,但三维世界空间的抖动指标反而从26.87毫米恶化到131.57毫米,说明让尺度变得过于灵活,反而会让每个局部区间各自过拟合,拼接起来后破坏了整体的稳定性。这其实是一个挺有意思的权衡:更复杂的模型不一定意味着更好的结果,有时候"保持简单"本身就是一种稳健性。

写在后面

读到这篇论文时,最触动我的其实不是那个数学公式本身,而是整个排查问题的方式。

研究者没有一上来就往模型里加东西、调参数,而是先花大量篇幅去证明"哪里没有问题":摄像机轨迹没问题,单帧人体姿态没问题。这种排除法式的诊断思路,在工程领域其实比直接提出解决方案更难,因为你得先克制住"赶紧修一下"的冲动,老老实实把每个环节单独拎出来验证。

另一个让我意外的点是,这个漂移问题的本质,其实跟深度学习模型的能力强弱没什么关系。无论HMR模型多准,无论VO算法多先进,只要它们各自输出的是"相对尺度"而不是"绝对尺度",组合环节就必然存在这个隐患,这是一个结构性问题,不是哪个模型学得不够好的问题。这也提醒人,很多系统性误差不是靠换一个更强的模型就能解决的,得去审视模块之间的接口假设本身。

论文里那个用固定机位摄像机当参照系的办法也挺朴素,没有用什么高大上的传感器,就是找同一场演出的两个不同拍摄角度,一个是晃来晃去的广播镜头,一个是老老实实不动的场馆机位,拿后者去校验前者。这种"用笨办法解决没有真值的问题"的思路,本身就值得记一下。

如果有一天AI能完全看懂一段镜头飞速切换、人群密集的真实演出视频,并且准确还原出每个人在舞台上真实的站位和轨迹,那么编舞复盘、虚拟重拍、甚至给AI训练数据做自动生成,门槛可能都会降低不少。眼下这篇论文解决的只是其中一块拼图,摄像机和人之间的尺度错位,但这块拼图被解决的方式,可能比结果本身更值得记住。

Q&A

Q1:K-Pop压力测试是什么?

A:这是论文作者构建的一个评测集,收集了616段K-Pop广播舞蹈视频,特点是摄像机移动速度快、幅度大,还包含多人密集编舞,专门用来检验现有AI人体重建方法在高速镜头下是否会失效。

Q2:为什么AI重建的舞者会跟着镜头一起漂移?

A:因为视觉里程计推算的摄像机位移和人体恢复模型推算的人体位置各自带着自己的比例尺度,这两套尺度本应一致却经常不匹配,拼接时镜头的运动就会被错误地叠加到静止的人身上,造成虚假漂移。

Q3:这篇论文提出的修正方法需要重新训练模型吗?

A:不需要。这是一个闭式求解的尺度修正方案,通过寻找演员脚部静止的时间片段,直接用数学公式算出尺度偏差并修正,可以直接套用在现成的多种视觉里程计和人体恢复模型组合上。

文章标签AI资讯

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。