你有没有想过，让一个虚拟人在屋子里搬一张桌子，到底难在哪里？
听起来好像没什么技术含量。人走过去，弯腰，抬起桌子，绕开沙发，放到指定位置。小孩子都会做的事情，为什么会成为一篇正经学术论文的研究主题？
答案藏在一个你平时根本不会注意的细节里：生成这段动作的AI，往往根本不知道屋子里有沙发。
这不是夸张。目前大多数能生成"人搬东西"的AI模型，都是在空荡荡的虚拟空间里训练出来的。你让它表演"端起杯子喝水"，它表演得惟妙惟肖，手指怎么扣住杯沿、手腕怎么倾斜角度都很自然。可一旦把它扔进一个真实的、摆满家具的房间，它大概率会让人的身体直接穿过桌子腿,把搬的箱子怼进墙里。它懂动作，但不懂空间。
这就是新加坡南洋理工大学的研究者们在这篇叫做MAMHOI的论文里要解决的核心矛盾：场景理解和动作生成,这两种能力几乎没法从同一批数据里同时学到。
两种数据,两种世界
你可能会问,为什么不干脆找一堆"人在真实房间里搬家具"的视频,直接拿来训练不就行了?
问题就出在"直接"这两个字上。
研究者解释说,目前存在两类数据集。一类叫人-场景数据集,记录了人在复杂房间里走动、避让障碍物的真实轨迹,但这类数据里的人基本不碰东西,顶多是走来走去。另一类叫人-物体数据集,记录了极其细腻的"人怎么抓、怎么搬、怎么放"的动作细节,但这些动作几乎都发生在空无一物的实验室场景里,根本没有家具可以撞。
真正你想要的那种数据,既有复杂房间场景,又有精细的搬运动作,这种"人-物体-场景"三位一体的数据,少到几乎不存在。
这就好比你想培养一个既懂建筑结构又懂室内装修的人才,结果市面上只有两类课程:一类教你认识承重墙和门窗布局,但完全不教你怎么挑选沙发搭配;另一类教你怎么把一整套家具搭配得美轮美焕,但上课的教室永远是空的,没有墙没有门。你没法直接拼出一个既会看房子又会摆家具的人,因为没人同时教过这两件事。
如果强行把这两类数据硬凑在一起训练一个模型会怎样?论文里提到的InfBaGel正是这么做的,它把合成的"人-物体-场景"数据和真实的"人-场景"数据混合训练。效果确实在场景适应性上有提升,但代价是动作的精细度打了折扣,这是一种此消彼长的权衡,混合学习两种分布不一致的数据,模型容易两头都学得不够透。
用一张"可行性地图"做中间人
MAMHOI的解法听起来简单得近乎朴素:别让两种能力硬凑在一起学,找一个中间媒介,让它们各自学自己擅长的部分,再通过这个媒介对接起来。
这个媒介叫motion affordance,论文翻译为运动可供性
运动可供性:指的是在给定场景和任务下,人和物体的交互动作可以被合理执行的空间范围,简单说就是"哪里能动,哪里不能动"的区域标记。
具体怎么运作?整个系统被拆成两个各自独立训练的模块。第一个叫场景理解模型,它看着房间的深度图、规划好的物体移动路径、还有一句任务指令比如"把落地灯搬到椅子旁边",然后输出一张二维的"可行区域地图",用颜色标出哪些地方是安全可通行的交互空间。第二个叫动作扩散生成器,它根本不需要知道房间长什么样,只需要知道"在这个局部范围内,哪里是空的、哪里是堵的",就能生成人和物体协同搬运的具体动作。
这两个模块训练数据完全不同。场景理解模型吃的是LINGO这个人-场景数据集,学的是怎么把房间几何、路径、语言指令综合成一张可行性地图。动作生成器吃的是OMOMO这个人-物体数据集,学的是怎么根据局部空间约束生成逼真的搬运动作。它们之间唯一的交流渠道,就是那张可行性地图被转换成的局部三维体素网格。
这个设计让我想到一个很具体的场景。假如你是一个新搬到陌生城市的外卖骑手,你完全不需要先把整座城市的地图背下来才能开始送餐。你需要的只是导航软件告诉你"接下来五十米往右转,前面是单行道"这类局部指令。导航软件负责理解整个城市的路网结构,你负责的是具体的骑车技巧比如怎么拐弯怎么刹车。如果导航软件非要把你训练成一个同时精通城市规划又精通骑行技巧的全能选手,那培训成本会高到离谱,而且大概率两头都学不精。MAMHOI做的正是把"城市规划"这个活交给场景理解模型,把"骑行技巧"这个活交给动作生成器,中间用一张简化的局部地图衔接。如果不这样拆分,直接训练一个端到端的大模型去同时吃场景数据和动作数据,会导致两种数据分布差异太大,模型很难兼顾,这也是前面提到InfBaGel遇到的权衡问题的根源。
可供性地图是怎么画出来的
场景理解模型的内部结构值得多说两句,因为这里藏着一个挺巧妙的设计。
模型拿到的输入有三样:房间的二维深度图、一条由A*算法规划好的物体移动路径、还有一句自然语言指令。深度图先经过一个叫U-Net的卷积网络处理
U-Net:一种常用于图像处理的卷积神经网络结构,特点是先把图像压缩成小尺寸的特征,再逐步还原回原始尺寸,中间保留了多层级的细节信息。
路径信息会被编码成一串位置特征,语言指令则交给CLIP
CLIP:一种能同时理解图片和文字的预训练模型,这里只用它来把文字指令转换成一组数字向量,方便和其他特征融合。
关键的融合发生在网络最深层。场景的空间特征当作"问题",路径和文字特征当作"答案",通过一种叫多头交叉注意力的机制让场景特征主动去"查询"任务相关的信息,再解码出最终的可行性地图。这个设计的意义在于,语言指令在这里不是摆设,它实际上在引导模型判断"人应该站在路径的哪一侧才符合搬运这件物体的常理"。比如抬箱子的人通常站在箱子两侧而不是正前方,这种常识信息就是靠语言指令来调动的。
训练这个地图预测模型时,研究者没有简单粗暴地让每个像素权重相等。他们发现任务相关的可行区域往往只占整个房间很小一块,如果平均用力,模型会学得很模糊。于是加了一个距离衰减的加权交叉熵损失,离规划路径越近的区域权重越高,还专门给起点和终点额外加重了权重。这就像批改作文时,老师不会对每一个字都同等认真地圈点,而是会特别留意开头和结尾这两个最容易暴露问题的地方,中间部分则按正常力度检查。如果不做这种加权,模型大概率会把精力浪费在无关紧要的边角区域,反而漏判了真正决定任务成败的起点终点衔接处。
让动作生成器"听懂"空间的语言
有了可行性地图之后,怎么把它翻译成动作生成器能用的东西?
这里有个细节处理得很讲究。系统不是把整张房间地图一股脑丢给动作生成器,而是只截取三个局部的三维体素网格:围绕人的骨盆、围绕物体当前位置、围绕物体最终目标位置,各截取一个32乘32乘32的小方块。这三个小方块会被重新调整朝向,统一对齐到人体的局部坐标系,再拼接起来送进一个基于ViT的编码器
ViT:全称Vision Transformer,一种把图像切成小块后用注意力机制处理的网络结构,这里专门用来把体素网格编码成特征向量。
这个局部截取加坐标对齐的操作,论文里专门做了对比实验。如果不做坐标对齐,直接保留房间原本的全局朝向,结果会怎样?数据给出了答案:场景碰撞的几个关键指标全面变差,人体和场景的穿模深度从28.587涨到41.016,动作的抖动程度更是从4429.3飙到7299.8,几乎翻倍。
这个差距说明了什么?想象你蒙着眼睛被人领进一间陌生屋子摸家具,如果每次伸手摸到的物体朝向都是随机旋转的,你很难建立起稳定的空间直觉,因为你的大脑没法把"桌子在左边"这类相对关系固定下来反复学习。但如果每次摸索时都先把自己转向固定朝向,比如始终面朝北方开始摸索,那你很快就能总结出"伸右手摸到的通常是桌沿"这类规律。坐标对齐做的正是后者,它把变化莫测的全局朝向问题,转化成了统一视角下的局部相对关系问题,这让模型能更容易地学到稳定的空间规律。
动作生成器本身是一个扩散模型
扩散模型:一种生成式AI技术,核心思路是先把真实数据逐步加噪声直到变成完全随机的噪声,再训练一个网络学会怎么把噪声一步步还原成真实数据,这里用来生成逐帧的人体和物体运动序列。
局部体素特征通过交叉注意力注入到动作生成的中间过程里,充当生成过程中的"场地提示"。整个长时间的交互动作是分段生成的,每生成完一段三十帧的动作,人和物体的新位置就会更新,下一段要用的局部体素也会重新从那张大的可行性地图里查询截取,这样动作能随着交互的推进不断适应周围环境的变化。
一个只靠正例学习不够,还得学会分辨"相似但错误"的选项
训练过程中有一个损失函数的设计特别值得拎出来讲,因为它解决了一个很反直觉的问题。
研究者一开始只用了一个叫Lsdf的损失,它把二维可行区域转换成一个有符号距离场,正值代表在可行区域内,负值代表越界,然后惩罚那些跑到可行区域外面的人体关节。听起来很合理,对吧?可是实验发现,一旦大多数生成动作已经落在可行区域内部,这个损失就提供不了什么有效的梯度信号了,模型没有动力再继续优化。
问题出在哪?因为同样的起点和终点约束下,其实存在多种合理的中间路径。比如搬一张桌子从A点到B点,你可以沿着墙边走,也可以从房间中间穿过去,只要起点终点一致,这两条路径理论上都算"完成了任务"。但只有一条路径是真正贴合可行区域、更安全合理的那条,另一条可能会蹭到家具边缘。单纯的正例损失没法区分这两种"看起来都对"的选择。
于是他们加了一个叫Lrank的排序损失,核心思路是构造一对动作:一个是正确的、贴合可行区域的动作,另一个是起点终点相似但中间路径明显不同的"替代方案"。然后要求正确动作的距离场惩罚值,必须比替代方案低至少一个安全边界,如果没有拉开足够差距,损失就会持续发出信号要求模型继续调整。
这就像考试判卷时,如果只告诉学生"答案对不对",学生可能在很多次正确之后就失去了进一步精进的动力。但如果换成"你这个答案和另一个看起来也差不多对的答案相比,到底哪个更稳妥,差距有多大",学生就会被迫去思考更细致的取舍,而不是满足于勉强及格。实验数据证实了这个设计的价值:加入Lrank之后,场景穿模的帧级指标从2.002降到1.440,动作抖动指标从6907.6骤降到4429.3,人物接触率也从92.27%提升到94.87%。不过有意思的是,去掉Lrank之后在不涉及场景的纯交互评测里,FID这个衡量动作真实感的指标反而变得更好了,这说明Lrank本质上是在做一种场景感知的正则化,它逼着模型别忽视场景提示,这种约束在完全没场景的测试环境里反而会显得"多管闲事"。
测试时的补救手段:几何修正不是万能药
论文还做了一个很诚实的区分实验,专门探讨"训练阶段学到的场景适应能力"和"推理阶段临时加的几何修正手段"之间到底是什么关系。
研究者设计了一个叫Gsdf的测试时引导机制,原理很直白,直接在采样过程里查询场景的占据情况,对那些穿进墙体或家具的身体关节施加惩罚力,把它们硬生生推出障碍物。这个手段不需要重新训练模型,属于一种事后补救式的工程手段。
实验结果显示,给CHOIS这个基线模型加上Gsdf后,人体场景穿模的平均指标从47.337降到32.936,确实有明显改善。但即便加了这个补救手段,CHOIS+Gsdf依然全面落后于完全不加任何补救的MAMHOI模型本身。这个对比很关键,它说明MAMHOI的优势根本不是靠临场补救,而是真正在训练阶段就把场景适应能力学进了动作生成的分布里。
更有意思的是用户调研的结果。研究者组织了一场双选强制评测,找了52位参与者看了884组成对比较,结果显示人类更偏爱MAMHOI本身,而不是加了Gsdf补救的版本。换句话说,量化指标上Gsdf确实降低了穿模数值,但在人眼看来,这种硬生生的几何修正反而让动作显得更不自然了。
这个发现挺值得琢磨的。就像修图软件里有个一键消除瑕疵的功能,技术上能把照片里的瑕疵抹掉,数值上皮肤确实"更光滑"了,可修过的照片放在真人面前,别人往往一眼就能看出哪里不对劲,显得僵硬失真。真正自然的照片,靠的是前期拍摄时光线和角度就调整到位,而不是依赖后期强行修补。MAMHOI选择的正是前一条路,把场景适应能力提前学进生成过程本身,而不是依赖采样阶段的硬修正。
数据说话:这套方法到底好在哪
研究者构建了一个专门的测试环境,从LINGO数据集的测试场景里挑了20个房间,规划出164条物体移动路径,每条路径配上5种可移动物体,总共跑了大约820次试验,专门用来检验物理可行性。
对比的基线包括CHOIS和InfBaGel这两个代表性方法。核心结果显示,MAMHOI在人体场景穿模的平均深度指标上达到28.587,明显优于CHOIS的47.337和InfBaGel的36.478。在物体场景穿模这项更棘手的指标上,MAMHOI做到了0.403,比CHOIS的0.545和InfBaGel的3.136都低出不少,InfBaGel在这项指标上表现尤其差,差距有近八倍。
物体路径遵循度上,MAMHOI的0.1492也略优于CHOIS的0.1532,InfBaGel这项指标甚至没能给出有效数值。人物接触率方面,MAMHOI达到94.87%,高于CHOIS的90.97%和InfBaGel的92.39%。
这组数字综合起来说明一件事:MAMHOI不是靠牺牲某一方面的表现去换取另一方面的提升,而是在场景适应性、路径遵循、交互真实感这几个经常互相拉扯的目标上,实现了相对均衡的全面改善。
写在后面
读到这篇论文时,最让我停下来想了很久的,其实不是那张可行性地图本身,而是那个关于Lrank损失的反直觉实验结果:加了场景感知的排序损失后,场景碰撞指标明显改善了,但在完全没场景的纯动作评测里,FID这个代表动作真实感的指标反而变差了。
这个细节背后藏着一个挺朴素但容易被忽略的道理:让一个系统同时顾及两件事,本身就是有代价的,代价不会消失,只会被转移到你没在盯着的那个指标上。做场景适应训练的时候,模型被迫分出一部分"注意力"去照顾场景提示,这部分注意力原本可以百分百用来打磨动作本身的流畅度。研究者没有把这个代价藏起来,反而专门做了一组对比实验把它摆出来,这种诚实比论文的主要结论本身更让我有印象。
另一个值得单独说的地方,是用户调研里"几何修正降低了数值但降低了人类偏好"这个结果。这提醒我们,任何时候看到一个指标被优化得很漂亮,都值得多问一句:这个指标真的和人类感受到的质量完全对应吗?有没有可能存在一种优化方式,数字上好看了,但代价是某种更难量化的东西被悄悄牺牲掉了?
这篇论文还没解决的问题也挺明显:它依赖一个外部的路径规划器给出粗略的物体移动轨迹,整套系统的表现在一定程度上受限于这个规划器给出的路径质量。如果规划器本身给出一条不太合理的路径,后续的可行性地图和动作生成会不会被这个源头错误带偏?这个问题论文里没有展开讨论,留给了后续研究。
Q&A
Q1：MAMHOI是什么？
A：MAMHOI是一种生成"人在复杂房间里搬运物体"动作的AI方法，核心思路是用一张运动可供性地图把场景理解和动作生成拆成两个独立训练的模块，分别从人-场景数据和人-物体数据里学习，再拼接起来协同工作。
Q2：MAMHOI和之前的方法比有什么优势？
A：MAMHOI在物体与场景的碰撞穿模指标上比CHOIS和InfBaGel都低出不少，同时物体路径遵循度和人物接触率也更高，而且这种优势主要来自训练阶段学到的场景适应能力，不依赖推理时的几何修正。
Q3：MAMHOI需要人-物体-场景三者同时标注的数据吗？
A：不需要。MAMHOI的核心价值就是避免了对这种稀缺三位一体数据的依赖，场景理解模型只用人-场景数据训练，动作生成器只用人-物体数据训练，两者通过可行性地图这个中间媒介衔接。
