Token导航 LogoToken导航

AI 资讯 · 星河频率

蚂蚁灵波将灵巧手触觉做成公共底座

更新 2026-11-10星河频率正文 5161字阅读约 17分钟10 张图片
图片

作者 | 毛心如

机器人翻书时,手指沿着纸页边缘轻轻移动;它需要判断自己带起的是一页,还是两页。

拧瓶盖时,手腕转过相同的角度,瓶盖可能已经开始旋转,也可能只是指尖在盖沿打滑。

镜头里看起来相似的动作,落到手指与物体的接触上,可能对应完全不同的状态。

这些细微差异,恰恰是精细操作最难处理的部分。

视觉可以帮助机器人找到物体、判断位置和距离,但手指真正碰到物体之后,接触点在哪里、受力有多大、物体有没有滑动,往往会受到遮挡,也很难只凭画面判断。

机器人要把动作做稳,除了看见,还得知道自己摸到了什么。

随着灵巧手承担越来越多的精细操作任务,机器人需要解决的已经不只是如何抓住物体,还包括接触之后如何感知、判断和及时调整。

触觉因此成为机器人感知体系中越来越重要的一环。

但问题也同时暴露:触觉传感器技术路线尚未收敛,不同设备采集的数据难以直接互通,针对某一款硬件学到的触觉经验,也很难自然迁移到另一款灵巧手上。

蚂蚁灵波最近发布的触觉预训练基础模型 LingBot-Touch,瞄准的就是这道鸿沟。

它尝试将不同触觉传感器产生的信号转化为统一、可复用的表征,让不同灵巧手和动作模型能够共享对接触信息的理解,也为灵波的机器人通用大脑补上触觉感知这一环。

在看得更清楚、想得更明白、干得更利索之外,机器人还需要摸得更灵敏。

图片硬件在分叉,能力要收敛

当下,触觉传感器没有一条现成的标准答案。不同方案在感知精度、覆盖面积、响应速度、安装空间和成本之间各有取舍,厂商往往要根据灵巧手结构和目标任务做选择。

目前,比较典型的方案主要有视触觉、磁触觉和压阻式三类:

图片

三条路线各有所长:指尖需要分辨细微形变,掌面需要覆盖更大的接触区域,不同任务对压力、滑动和受力方向的要求也不一样。

硬件多样化是现实的工程选择,但棘手的是由此带来的数据差异。

以抓握杯子为例,视触觉记录的是形变图像,磁触觉读取的是磁场变化,压阻式则输出电阻变化。不同设备的触点排布、采样频率、数据维度和标定方式也不相同。

对动作模型而言,这些信号很难直接放在一起理解。更换传感器,往往意味着重新处理接口、标定和信号解算,这样不仅减少了上游模型所需的数据量,更增加了下游策略重新适配特定数据的工作量。

久而久之,不同厂商和团队容易形成彼此割裂的数据与算法链条。

为解决这一问题,研究界开始尝试建立更通用的触觉表征,研究重点也逐渐从单一传感器的特征提取,转向跨传感器学习。

Meta 等团队推出的 Sparsh,基于超过 46 万张触觉图像进行自监督预训练,重点面向视触觉传感器;T3 则将 13 种相机式触觉传感器、11 类任务的数据整合进 FoTa 数据集,利用共享 Transformer 学习跨传感器、跨任务表征。

这两项探索的主要范围仍集中在视触觉领域。

FTP-1 进一步纳入图像、阵列和状态类触觉输入,使用不同编码器将信号映射到统一的潜在空间,再由共享触觉专家处理。其预训练数据约 3000 小时,覆盖 21 种传感器和 26 个数据来源。

不过,面对未见过的新传感器,仍需训练对应的专属编码器,并不是换上硬件就能即插即用。

TACTX 则进一步尝试对齐视触觉、磁触觉和压阻式三类信号,通过成对接触数据学习共享表征,并验证跨传感器迁移的可能性。

需要说明的是,这些研究的模型定位和实验设置并不相同:有的重点解决视触觉传感器之间的泛化,有的将多种触觉信号纳入通用动作策略,还有的专门探索跨感知机理的表征对齐,不能简单按照实验结果排出高低。

LingBot-Touch 选择的是另一种切入方式:将触觉理解能力独立训练为一个可供不同动作模型调用的表征模块,减少对特定传感器和单一动作策略的绑定。

图片

这背后的思路并不复杂:不同机器人可以使用不同的手,不同任务也可以采用不同的动作策略,但碰到了什么、接触位置在哪里、受力如何变化、物体是否正在滑动,都是它们共同需要理解的信息。

与其等待硬件路线收敛,不如先在模型层建立一套共同语言。

当触觉理解能够逐渐摆脱对特定传感器的依赖,一款设备积累的经验,才有机会成为另一款设备继续学习的起点。

这也是蚂蚁灵波选择将触觉能力做成独立基础模型的出发点。

图片通用触觉底座的真考验:能迁移,也得真管用

要支撑这样的公共层,首先需要足够规模、足够多样的真实数据。

LingBot-Touch 使用了 4983 小时的真实触觉记录,包含 464431 段交互、约 13.3 亿帧,覆盖抓握、旋转、滑动、擦拭、装配、双手配合以及操作易碎易变形物体等 24 类任务。

数据来自两条路径:

  • 人戴着压阻式和磁触觉手套进行日常操作,这贡献了大部分时长;

  • 人遥操作搭载 Sharpa Wave 的双臂机器人,补充视触觉数据。

前者不依赖机器人本体,能够覆盖更丰富的日常交互;后者则提供了与实际部署硬件更接近的交互经验。

两类数据在任务类别上进行匹配,同时保留传感原理、布局和采样率上的差异。

图片

数据越异构,就越需要一个能接住差异的公共层,而不是让每家厂商各攒一套互不相通的经验。

在模型设计上,LingBot-Touch 主要做了三件事。

第一,将不同传感器的触点映射到统一的指尖坐标空间,为每个有效测点标注时间、手指身份和三维位置信息,让不同来源的信号拥有可以对齐的空间参照。

第二,让不同原理的信号经过各自的浅层编码器,再进入共享的 Haptic Transformer(触觉 Transformer),从统一的时空表征中提取接触特征。

训练方式也针对触觉信号的特点进行了调整。触觉数据中有大量没有发生接触的时刻,原始读数往往接近零。如果只是要求模型还原输入,它很可能通过预测大量无接触数据获得较低的训练误差,却没有真正学会判断接触。

为此,LingBot-Touch 采用 Tactile-JEPA,在潜在特征空间预测被遮挡部分的接触信息,而非逐点还原原始信号。同时,模型还会对触点密度和位置进行扰动,降低对固定传感器布局的依赖。

它真正希望学到的,是接触发生在哪里、受力如何变化,以及这些变化随时间呈现出怎样的规律。

不过,模型设计是否有效,最终还要看换了传感器和灵巧手之后,这套能力能否继续发挥作用。

实验选择了 Sharpa Wave 和 XHand 进行测试。

前者使用预训练阶段见过的视触觉传感器,后者则搭载了训练数据中未出现过的磁触觉传感器型号,在分辨率、采样频率和触点布局上也存在差异。

面对 XHand,团队没有重新调整已经训练好的 LingBot-Touch 参数,直接用它提取触觉表征,再用这只手的任务示范训练下游动作策略。

结果表明,同一套表征可以跨越不同传感器型号和灵巧手结构。

这里需要厘清一个边界:复用的是理解接触的能力,具体如何控制新的手,仍然需要通过任务示范学习。

换句话说,换手之后要重新学控制,但不必从头学习如何理解触觉。

跨硬件迁移验证的是表征的通用性,另一项实验则进一步考察:不同动作模型能否真正用好这套表征。

团队在两款手上共测试了 26 项真机任务,其中 Sharpa Wave 20 项、XHand 6 项,覆盖翻页、拧瓶盖、拉拉链、插吸管、搬运易变形杯子等。动作模型包括 Diffusion Policy、π0.5、LingBot-VLA 和 T-Rex。

每组都设置三种输入:不使用触觉、直接输入原始触觉信号、使用 LingBot-Touch 提取的特征。

结果显示,两款手上的四种模型,平均成功率均在使用 Touch 特征时达到最高。

平均成绩只是入口,真正要看的是同一套特征能否被不同策略稳定调用。

这里面最能说明问题的,是 Sharpa Wave 搭配 π0.5 的拉拉链实验:无触觉时成功率为 39%,直接输入原始触觉信号反而降到 15%,使用 LingBot-Touch 特征后升至 59%。

图片

拧瓶盖等任务也出现类似对照:有信号不等于会用。原始读数中包含传感器自身的噪声、与任务无关的维度以及不同设备之间的分布差异,未经处理就直接输入动作模型,有时反而会成为干扰。

从原始信号到决策真正需要的物理信息,中间还需要一层适合模型理解的表征。触觉硬件解决的是测得到,表征模型要解决的则是用得上。

当然,并不是所有任务都出现同等幅度的提升。部分任务上,Touch 带来的增益相对有限,或者与直接输入原始信号的差距并不显著。

这说明结果仍需要更多真机验证和更广泛的任务分布来观察。

但跨手、跨策略的整体表现已经提供了一个积极信号:将接触理解抽象为独立模块,再接入现有动作模型,是一条值得继续探索的路径。

部分任务上的差异也提醒我们,公共表征并非万能钥匙,其效果仍取决于具体任务和传感器分布。

除了真机,团队还在 12 项仿真接触丰富任务中做了强化学习验证。

LingBot-Touch 平均成功率 68.95%,高于 CNN 触觉特征的 45.59% 和无触觉输入的 21.42%;在转盘子、转笔、平衡球这类接触持续变化、需要协调控制的任务,差距最明显。

仿真结果作为补充,说明这套表征在不同接触动态下也能提供有效信息。

此外,从实验室走向真机,还必须考虑计算开销。

触觉的一部分价值在于及时反馈:杯子刚开始沿指腹滑动时,机器人还有机会收紧手指;等物体已经脱手,再准确地判断滑动状态也无济于事。

与此同时,真机还要运行视觉、空间感知和动作模型,留给触觉模块的计算资源有限。

为此,LingBot-Touch 提供了 Tiny 和 Small 两个版本。其中,Tiny 约 532 万参数,论文中的 26 项真机测试全部使用这一版本;接入 LingBot-VLA、π0.5 和 T-Rex 后,模型参数量分别只增加约 0.13%、0.15% 和 0.16%。

这意味着,触觉表征不仅要在实验中证明有效,还要尽可能轻量,才能真正进入资源有限的机器人系统。

图片触觉基础模型如何走向更多机器人?

如果一套触觉表征能够在不同传感器、灵巧手和动作模型之间复用,改变的就不只是模型的接入方式,还有硬件、数据和算法之间的分工。

过去,硬件厂商需要围绕自身传感器完成标定、降噪和信号解算,机器人团队还要针对具体手型和操作任务训练策略。

不同环节之间有大量适配工作,某一套硬件积累的数据和经验也未必能被其他团队直接使用。

通用触觉表征提供了一种新的分工可能:传感器厂商继续把精度、稳定性、耐用性和成本做好,灵巧手厂商根据应用选择感知方案,算法团队则可以在已有触觉表征上开发动作策略。

它不会取代传感器标定、器件补偿和本体控制,也不意味着不同硬件接上模型就能立即完成所有任务。

但如果共性的接触理解能力能够独立复用,团队就有机会减少重复的底层表征工作,把更多精力投入硬件适配和具体任务。

同时,这种分工可能让灵巧手在传感器配置上拥有更大自由度。

指尖需要识别微小接触形变,可以采用视触觉;指腹和掌面需要覆盖更大面积,可以考虑压阻式阵列;其他位置也可能加入磁触觉或柔性电子皮肤。

未来,一只灵巧手上同时采用多种传感器,各自负责更擅长的感知任务,再由统一表征层整合信息,或许会成为一种新的设计思路。

对于模型厂商和整机团队来说,独立的触觉表征同样提供了新的接入方式。

LingBot-Touch 在实验中不仅接入灵波自己的 LingBot-VLA,也接入π0.5、Diffusion Policy 和 T-Rex。这意味着触觉能力有机会作为相对独立的模块,被不同技术路线的动作模型调用。

对蚂蚁灵波自己而言,LingBot-Touch 是其具身原生通用大脑里补上的又一块拼图。

图片

此前,这套体系里已有负责空间感知的 Vision 和 Depth 2.0、理解环境变化的 Video 和 World 2.0、生成动作的 VLA 2.0 和 VA 2.0。

从这套体系的构建思路来看,其正在将机器人完成物理任务所需的能力逐项拆解、分别验证,再逐渐形成从感知、预测到执行的闭环。

触觉补上的,就是接触之后的感知与反馈。

目前,蚂蚁灵波也在与乐聚、钛虎等本体伙伴,以及国大药房、隆盛等场景伙伴,围绕零售分拣、物流和工业场景开展测试,推动相关能力从实验验证走向真实应用。

这也是具身原生模型与通用大模型在技术侧重点上的一个区别:前者需要直接处理物理交互中产生的力、形变和接触动态,并将这些信息转化为机器人能够使用的决策依据。

当然,触觉技术的发展,不会因为一款模型发布就走向统一。

不同传感器仍会围绕分辨率、覆盖面积、响应速度和成本继续演进,灵巧手也会根据任务选择不同的硬件组合。

但必须解决的问题是,让这些设备积累的接触经验不再彼此隔绝。

LingBot-Touch 提供了一个值得验证的方向:硬件可以保持多样,模型可以尝试学习共同的接触表征,再把它交给不同的动作策略。

目前的结果仍需要更多本体、更多传感器类型和更多真实场景的验证。

但至少,它把一个值得关注的问题摆到了台前:具身智能的通用性,能否从动作模型的复用,进一步延伸到物理交互经验的复用?

从物理世界的实际需求出发,把共性的能力做成公共层,让不同团队在此基础上继续探索各自的硬件和任务,这或许才是触觉基础模型更长远的价值。

图片

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。