今天，蚂蚁灵波开源了 LingBot-Touch：给机器人用的触觉模型
把这款模型用于灵巧手之后，机器人的各种精细操作准确性都有了大幅提升。比如拉拉链的成功率，从只靠读数的 15% 提升到了 59%
这的确是一个非常精巧的模型，能够把视触觉、磁触觉或压阻式触觉，都转化成机器人可以使用的 Token，更好地去实现各种工作
代码和权重都已在 GitHub 和 Hugging Face 开源
对了，这一屏可以摸：本文也可以与你的指尖相触
机器人为什么需要触觉
我们看到很多机器人的视觉方案，通过视觉感知去操纵灵巧手，然后让它去执行各种操作
但这里面有个问题：很多时候物品是易碎的，或者被视线所遮挡。对于人类来说，我可以凭借手指的触感去决定该使多大力、该如何调整姿态，那么机器人为什么没有呢？
比如说是拧瓶盖，手指触摸着瓶口去旋转。从视觉的角度，你是没有办法区分，或者很难去区分瓶盖是否真的旋转了，它也可能是打滑，但如果加上触觉，作为我们人，就可以很清晰地知道这个瓶盖我有没有真正地去拧动
比如翻书的时候，人闭着眼睛都知道这一页书有没有翻动：人的指尖感受到纸页的拱起，去托住它，再感受它有没有打滑，机器人也应该有这样的能力
触觉传感器的三种做法
我们是能够通过增加传感器，来实现灵巧手上面的触摸反馈的，可以在指尖去做一些埋点，这样哪里有压感，哪里就会有感知
下面我做了一个简单的、可以触摸的 SVG，大家可以感受一下
这里还得做一个补充说明：指尖的传感和机器人手臂、手掌的传感是不一样的
比如说，手掌的传感需要感知大面积的受力，而指尖则需要去辨析非常微小的形变，一种传感器通常很难兼顾。于是便有了下面这三种做法：
视触觉：指尖里装一颗小相机，拍软胶表面受压后的形变，接触的细节看得清
磁触觉：软磁材料受力变形，芯片测磁场的变化，能感到多个方向的力和滑动
压阻式：材料受压后电阻改变，成本低，容易铺满手掌这样的大面积
各家灵巧手按自己的需要来选，Sharpa Wave 的指尖用视触觉，星动纪元的 XHand 用磁触觉，强脑科技的 Revo 2 有压阻式的版本
原始读数为什么难用
把传感器做好了之后，如果你把数据直接去喂给动作模型，成功率不一定会好
比如给 Sharpa Wave 灵巧手配 π0.5 拉拉链，喂了指尖的原始读数以后，成功率从 39% 掉到 15%
还有一项任务专门考摸，叫分拣麻将牌，让机器人捏起一张牌，靠指尖认出牌面，再放进对应的盘子，认牌的时候牌面要是被镜头拍到，这一次就作废，LingBot-VLA 直接读原始读数，成功率只有 5%
于是我们就可以有一种新的做法：把读数统一成触觉 Token
这里 LingBot-Touch 先把三种读数各自编码，再交给同一个模型，输出同一种触觉 Token。通过这些触觉 Token，来记录手指触碰的位置、力的大小&方向以及变化
在这个思路的基础上，蚂蚁灵波团队也收集来了各家的传感器，记录它们的测点数量、排布方法等，再把这些传感器的数据都对齐到一套坐标上，以便于机器人更好地使用
触觉数据从何而来
与大模型的训练语料不同，触觉数据很难从互联网上通过爬虫来收集，只能够在真实世界中，带着专门的触觉手套一个小时一个小时去采集（其中的三分之二由人戴着手套在日常工作中采集，而剩下的三分之一则是由人遥控机器人的灵巧手来采集）
这个模型的训练，一共用了 4,983 小时的触觉数据
至于这一种模型的训练方法，则是在训练的过程中，把记录中的一部分测点遮住，让模型根据剩下的测点，去猜测被遮住的地方发生了怎样的接触（使用了一套叫 Tactile-JEPA 的方法）
真机上成功率涨了多少
团队在两款灵巧手上测了 26 项真机任务，用了四种动作模型（LingBot-VLA、π0.5、Diffusion Policy 和 T-Rex）
每种模型跑三组做对比：只靠视觉、读原始读数、用触觉 Token。成功率如下
对于拧瓶盖的单项，成功率一路涨到了 90%而分拣麻将牌测试任务中，LingBot-VLA 从读原始读数时的 5% 到了 56.25%
除了这两项，26 项任务还覆盖了精细操作、易变形的物体、双手配合这几类活，都得靠手指的接触来完成
比如弹出 SD 卡，要先按一下让卡弹出来，再把它捏走（T-Rex 的成功率从只靠视觉时的 32% 涨到了 92%）
又比如给封了膜的杯子插吸管，得先扎破封膜，再插到合适的深度（LingBot-VLA 从只靠视觉时的 35% 涨到了 59%）
而在 26 项任务之外，演示里还有用钥匙开锁、挤牙膏和封密封袋，这三个都得两只手配合着来
换一只灵巧手还能用吗
既然各家灵巧手用的传感器不一样，那么换了一只手、换了一种传感器，训练好的触觉模型还能直接用吗？
这 26 项任务里，有 20 项在 Sharpa Wave 上完成，另外 6 项则换成了星动纪元的 XHand，这是一个在训练数据之外的型号，也非常的丝滑，各种触摸模型的参数都能原样沿用
作为结果，π0.5 在 XHand 六项任务上的平均成功率，从读原始读数时的 48% 涨到了 74.17%，而 LingBot-VLA 则从 57.21% 涨到了 75.04%
换句话说就是：厂商可以按自己的需要去选传感器，读触觉的这一层，直接用现成的模型就行
只有 0.00532 B 参数
这个模型的尺寸最少只需要 532 万参数，也就是 0.00532 B（上面的那 26 项真机的参数，都是用的这一个 532 万参数的）
至于为啥这么小，是为了能够足够快地去运行，让机器人能够有匹敌下意识动作的迅捷感。这样才会说杯子刚一开始滑落就赶紧收紧，免得脱手
当然，如果算力宽裕、更看重细微受力的判断，还有一个容量更大的 Small 版可以选
最后
在灵波的机器人大脑设计思路中，把任务分成了看、摸、想、干四块，其中 LingBot-Touch 补上了其中“摸”的这一块，并已经和负责动作的 LingBot-VLA、负责空间感知的 LingBot-Depth 融合在一起用了
至于下一步，团队打算把视觉、深度、触觉和温度都放进同一个模型里，触觉也要从指尖扩展到整只手，如有进展，我还会第一时间更新过来与大家分享
