Token导航 LogoToken导航

AI 资讯 · 科技行者

服务机器人跟丢目标后的应对方案

更新 2026-11-18科技行者正文 5246字阅读约 17分钟

想象一个场景:商场里,一个服务机器人正跟着一位顾客往前走。突然,另一个穿着相似颜色外套的人从旁边走过,两人擦肩而过。机器人的摄像头里同时出现了两张人脸,两个相似的背影。

它该跟着谁?

这听起来像是个很简单的问题,人类几乎不会犯这种错误。但对机器人来说,这恰恰是最容易翻车的地方。

有一组数据很能说明问题。在跟踪单独一个人的任务里,一款叫 Uni-NaVid 的模型成功率是 25.70%,已经不算高了。但一旦把任务换成"人群中跟对人",也就是有干扰者存在的场景,这个数字直接跌到 11.30%。另一款叫 TrackVLA 的模型表现更好一些,从单人跟踪的 85.10% 掉到有干扰者时的 57.60%,但下滑幅度依然惊人,将近 30 个百分点。

这就是本文要讲的论文,VLX-Go,想要解决的核心问题:机器人在人多的环境里,怎么才能不跟丢、不跟错。

跟踪一个孤零零的人,就像在空旷的操场上追一个足球,目标清晰,没有任何干扰。但现实世界是商场、是车站、是医院走廊,到处都是人。真正有用的服务机器人,必须在这种"拥挤"的场景里保持靠谱。这也是为什么论文作者反复强调,要把更多精力放在"干扰者跟踪"(Distractor Tracking,简称 DT,指环境中存在其他相似目标时的跟踪任务,机器人需要从多个候选人中识别并坚持跟随正确的那一个)这件事上。

先学会看懂图和懂语言,再学跟人

VLX-Go 的核心思路,说起来其实有点反直觉。

一般人可能会觉得,想让机器人学会跟踪,那就直接拿大量"跟踪"的数据去训练它不就行了?VLX-Go 没有这么做,它的做法是分阶段来:先让模型学会把"图像"和"语言"对应起来,再让它做一些需要综合理解画面内容的问答练习,最后才真正开始学习跟踪这件事。

这个思路其实不是 VLX-Go 原创的,它借鉴了 OmChat 和 LLaVA 这些多模态大模型的训练套路,这些模型在做具体任务之前,都会先花时间让视觉特征和语言模型对齐。

视觉语言对齐(指训练模型把图片内容和对应的文字描述关联起来的能力,比如让模型理解"穿红色夹克的人"这句话对应图像里的哪个区域):这是多模态模型训练的第一步,相当于先教会模型"看图说话"的基本功,之后再去学更复杂的任务。

这里可以打个比方。假设你要教一个刚学中文的外国朋友当导游,带团队去故宫玩。你会怎么做?你大概不会直接把他扔进故宫现场让他连蒙带猜地讲解。更合理的做法是,先让他熟悉基础词汇(这是什么建筑,那是什么朝代),再让他做一些问答练习巩固理解,最后才真正带他去带团实战。如果跳过前两步直接上场,他大概率会在游客问"太和殿是干嘛的"时支支吾吾,因为他压根没有建立起"概念和讲解"之间的稳固连接。VLX-Go 的三阶段训练,本质上就是不让模型"裸上战场"。

具体来说,这三个阶段分别是:第一阶段只训练一个叫"适配器"的小模块,让视觉特征和语言表示对上号,这时候模型的视觉编码器和主干网络都是冻结不动的。第二阶段开始联合训练主干网络和适配器,用的是对齐数据加上一些通用的视觉问答数据,这一步是在培养模型更复杂的多模态推理能力。第三阶段才真正上跟踪任务,用 19532 个"专家轨迹"数据对整个模型,包括主干、适配器和负责预测路径点的输出层,进行微调。

效果如何?数据很直观:作者此前的模型 OmTrackVLA,在有干扰者场景下的成功率是 41.54%,而完整走完这三阶段训练之后,VLX-Go 的成功率提升到了 55.80%,涨了超过 14 个百分点。

两套视觉系统搭配着用

VLX-Go 还有一个设计细节值得说说:它同时用了两种不同的视觉编码器,一个叫 DINOv3,一个叫 SigLIP。

视觉编码器(把图像转换成模型能理解的数字特征的神经网络模块,相当于给机器人装上"看懂画面结构"的眼睛):DINOv3 擅长捕捉图像里密集的空间结构信息,比如物体的轮廓、位置关系;SigLIP 擅长提取和语言对齐的语义信息,比如这个区域代表"一个人"还是"一把椅子"。

为什么要同时用两个,而不是挑一个用到底?

这就像请两位不同专长的向导一起带路。一位擅长看地形,知道哪里有台阶、哪里是死胡同;另一位擅长读路标和问路,知道该往哪个方向走、该找谁确认。如果只带地形向导,你可能走得很稳但找不到正确的人;如果只带认路向导,你可能方向对了但可能被台阶绊倒。两个人一起带路,信息互补,出错概率自然更低。VLX-Go 把 DINOv3 提供的 384 维特征和 SigLIP 提供的 1152 维特征拼在一起,形成一个 1536 维的联合表示,这样模型既能看清空间结构,又能理解语义含义。

值得一提的是,这两个视觉编码器在整个训练过程中都是冻结的,不参与参数更新。这么做是为了提前把图像特征算好存起来,训练时直接复用,这样可以大幅加快实验迭代速度,不用每次都重新跑一遍昂贵的图像编码过程。

历史信息怎么存,不能眉毛胡子一把抓

机器人要跟踪一个移动的目标,光看当前这一帧画面显然不够,它还得知道目标最近是怎么移动的。但如果把过去几十帧画面全部原样塞进模型,计算量会爆炸式增长。

VLX-Go 的解法是"厚古薄今":对历史帧做粗粒度压缩,用一个很小的 2×2 网格来概括;而对当前帧保留更精细的 8×8 网格。默认设置下,模型会参考过去 32 帧的历史信息。

多尺度时序处理(对不同时间点的信息采用不同精细程度处理的方法,越接近当前时刻的信息保留得越详细,越久远的信息压缩得越粗糙):这种做法背后的逻辑是,决定下一步往哪走,最relevant的信息永远是"现在发生了什么",过去的信息提供的是趋势和背景,不需要那么精确。

这跟你开车看后视镜的习惯很像。你不会对十分钟前路况的每一个细节都记得清清楚楚,你记得的是大致的车流趋势,比如"后面一直有辆车跟着"。但你对眼前这一秒钟的路况,前车刹没刹车、旁边车道有没有车要并线,却必须看得非常清楚。如果反过来,把十分钟前的路况记得事无巨细,却对眼前这一秒看得模模糊糊,那基本就等着出事故了。VLX-Go 把这个直觉变成了具体的网格分辨率设计。

处理完视觉信息后,模型会把这些视觉token和语言指令的token,还有一个专门用来生成动作的"学习型查询token"拼接在一起,送进一个transformer主干网络。

transformer(一种在自然语言处理和多模态任务中广泛使用的神经网络结构,擅长处理序列信息之间的长距离依赖关系):这是当前几乎所有大模型的底层架构基础,论文里用的是基于 Qwen3 的主干网络。

最终,模型会读取那个动作token对应的隐藏状态,通过一个三层的小型MLP网络,解码出未来8个路径点,每个路径点包含机器人坐标系下的横坐标、纵坐标和朝向角。这些路径点再交给底层的运动控制器去执行,相当于模型只负责"决定往哪走",具体怎么控制轮子转速这种事交给别的模块。

让机器人自己犯错,然后纠正它

前三个训练阶段都是在固定数据集上离线完成的,机器人没有真正上路跑过。但这里有个经典问题:模型在训练数据上学得再好,一旦真正上路,走的路线和训练数据里的路线会有偏差,而这些偏差会越滚越大。

这个现象在模仿学习领域有个专门的说法,叫协变量偏移。

协变量偏移(指模型在实际运行中遇到的状态分布,和训练时见过的状态分布不一致的现象,导致模型在没见过的状态下表现变差):举个例子,训练数据里机器人始终紧跟目标、角度和距离都比较标准,但实际运行时它可能因为一次小小的判断失误而偏离了"标准路径",这时候模型从没在这种"跑偏"的状态下学过该怎么纠正,就容易越错越离谱。

VLX-Go 用了一种叫 DAgger 的方法来解决这个问题。

DAgger(Dataset Aggregation 的缩写,一种在线数据聚合算法,让策略自己去跑,再用专家在这些策略走过的状态上重新打标签,然后把这些新数据加入训练集):简单说就是不再只看专家怎么做,而是看"我自己在实际运行中遇到了什么情况,这时候专家会怎么处理",然后拿这个来纠正自己。

这个思路像极了学车。教练手把手教你一遍标准动作之后,真正让你出问题的往往不是标准路况,而是你自己开车时犯的那些"小毛病":比如你习惯性地在转弯时方向盘打早了,或者并线时忘记看后视镜。好的教练不会只是反复讲标准流程,而是会坐在副驾驶上,看着你犯这些具体的错误,然后针对性地纠正:"看,你刚才这个点就该减速了"。如果教练只按教材讲课,从不管你实际开车时的毛病,你很可能一直带着那些坏习惯开下去。

不过这里有个关键的坑需要注意。机器人自己开车时用的是"受限视角"的摄像头画面,但负责打标签的"专家"(论文里叫oracle,是一个用上帝视角、知道人和机器人真实位置的脚本控制器)看到的是全局信息。如果机器人已经跟丢了目标,专家却依然基于全局信息给出一个"自信地朝着某个方向冲过去"的指令,机器人学了这种标签,只会越来越鲁莽,因为它会学到"即使看不到人,也要大胆往前冲"这种危险习惯。

所以论文作者做了严格的过滤,只保留三种情况下的标签:一是目标清晰地在画面中且距离合适;二是机器人离目标特别近(小于1.2米),这时候专家会主动后退,这类标签能教会机器人学会保持距离;三是机器人曾经连续看到目标超过1秒,然后刚刚丢失目标的"恢复"阶段,最多保留丢失后2秒内的数据。

这个过滤规则其实挺值得玩味的。它不是简单粗暴地"全部学",而是精挑细选那些对机器人真正有用、且不会教坏它的片段。这种克制,恰恰是这项工作比较成熟的地方。

最终效果和代价

把这套组合拳打完之后,VLX-Go 在干扰者跟踪任务上的成功率达到 58.22%,碰撞率降到 10.11%。相比三阶段训练后还没做DAgger精炼的版本(成功率55.80%,碰撞率12.10%),这次精炼带来了2.42个百分点的成功率提升,同时碰撞率降低了1.99个百分点。

在模糊目标跟踪任务(Ambiguous Tracking,简称AT,指环境中存在视觉上相似但身份不同的候选目标,考验模型的语义辨别能力)上,VLX-Go 的成功率达到60.93%,是所有对比方法里最高的。

但故事并没有完全圆满。论文作者也坦诚地指出,在AT任务上,碰撞率反而从9.40%上升到了10.39%,这个代价不该被忽视。而且,DAgger带来的提升主要集中在DT任务上,在AT任务上的成功率只提升了0.29个百分点,几乎可以忽略不计。

此外,作者还做了一个有意思的对照实验:把同一个模型重复评测两次,结果发现大约23%的测试回合(episode,指一次完整的跟踪任务测试)结果发生了变化。这说明评测本身存在不小的随机性,小幅度的分数差异需要谨慎解读,不能轻易下结论说"哪个模型就一定更好"。

碰撞到底是怎么减少的

作者进一步拆解了碰撞发生的具体场景,发现一个很有意思的现象:DAgger精炼带来的碰撞减少,主要集中在机器人"正在前进"时发生的碰撞。

具体数据是,在DT任务上,前进状态下的碰撞次数从88次降到56次,减少了32次,其中步数超过30步之后发生的碰撞从62次降到34次,减少接近一半。而"低速/静止/倒退"状态下的碰撞数量基本没有变化,从82次略微上升到86次。

这个细节说明,DAgger精炼真正改善的,是机器人在追赶目标过程中"该减速却没减速"这类问题,而不是全面消除了所有碰撞风险。这也印证了前面说的"保持距离"类标签的作用,机器人学会了在靠近目标时主动放慢脚步,而不是一味猛冲。

跟踪率高不代表体验好

论文里还提到一个很反常识的观察:跟踪率(Tracking Rate,简称TR,指机器人严格贴合基准测试设定的跟踪条件的比例)高,不代表机器人实际表现就好。

作者在真实部署中发现,一个优秀的跟随机器人有时候需要绕开障碍物、在拐角处减速、或者暂时调整跟随距离,这些行为都会导致跟踪率数字下降,但实际上这恰恰是机器人"更聪明"的表现。反过来,如果一个机器人死板地追求"全程紧跟不放",在真实场景里反而可能更容易撞人或者撞墙。

这个观察提醒我们,单一指标永远不能完全代表好坏。就像衡量一个司机开车好不好,不能只看"是否严格按照最短路径行驶",有时候绕一点路躲开拥堵,才是更负责任的选择。

Q&A

Q1:VLX-Go是什么?

A:VLX-Go是一个视觉语言路径点预测模型,用于机器人的具身视觉跟踪任务,核心目标是让机器人在有干扰者(比如多个相似行人)的环境中,依然能准确识别并跟随指定目标,同时避免碰撞。

Q2:VLX-Go相比之前的模型提升了多少?

A:相比作者此前的OmTrackVLA模型,在干扰者跟踪任务上成功率从41.54%提升到完整三阶段训练后的55.80%,再经过DAgger在线数据精炼后进一步提升到58.22%,同时碰撞率也有所下降。

Q3:DAgger在线精炼具体解决了什么问题?

A:DAgger解决的是"训练数据和实际运行数据不一致"的问题,它让机器人自己先跑一遍,再由一个掌握全局信息的专家在机器人实际走过的状态上重新打标签,并经过严格过滤后用于微调,从而针对性纠正机器人实际会犯的错误。

文章标签机器人大模型

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。