触觉，应该是下半年我跟的最多的一个赛道。
我们8月份就已经聊了触觉产业链从传感器、灵巧手、触觉数据供应商、触觉算法大概20多场，也收敛了很多内部的结论（这个专题报告写了很久，还要一点时间公开，快了快了）。
当你把整个产业链摸一遍的时候，会发现很多神奇的事情：
上游所强调的力大小、分辨率、千赫兹之类之类的指标，在算法里根本就没那么重要。
造成这个问题的本质，还是因为触觉产业链太长了，会导致大家的立场变得不同。
比如供给侧（传感器、手套、灵巧手）在用一套源自工业传感器的指标体系竞争，而需求侧（模型与算法）关心的却是测量稳定性、时间分辨率与数据质量。
我们当时就有一个判断：
这才是真的符合第一性原理的思路，而且最好是即开即用，面对新的传感器也不用重新训练。
说实话，最近几个月我们看了很多触觉的工作，但我们依然认为是小打小闹。包括李飞飞教授的T-Rex，也只是在EgoScale的 2万小时基础上加了400小时的触觉数据。
直到昨天，我们看到了有团队愿意花大功夫去做这件事。
跨传感器 x 即插即用的触觉基模， LingBot-Touch。
一次性覆盖压阻、霍尔磁和视触觉三大类的触觉传感器，还是让我有些兴奋的。
就赶紧找 LingBot 的朋友帮忙牵线负责人交流看法。
过程中，我们聊到了很多的Knowhow，如果你正在做触觉相关的事情，也想了解触觉的终局，那非常推荐大家仔细看看我们今天的文章。
以及，最后也希望能够让大家明白我们算法的视角到底 care 触觉哪些事情，这样你就有了终局思维。
Enjoy~
1
处理数据都要花一年踩坑。
我就说一个点，触觉的数据真的是让人又爱又恨。
负责人说，围绕这约五千小时的数据，他们内部做了接近一年。
我抛个问题：大家觉得触觉算法的壁垒在哪里？
反正应该不是模型结构，LingBot-Touch 的网络结构图丢给 Codex，花点功夫就能做出来。。。
那数据上的时间花在哪里？
从采集开始，就有一连串的问题。我总结下当时提到的几点。
1）触觉采集的信息非常杂乱。
这是所有触觉手套最坑的地方，归根还是一致性太差。
就比如第一天采和后面几天采得到的触觉绝对值不一样（同一个物体）；男生采和女生采得到的触觉信息不一样；A手套和B手套采集得到的信息也不一样。。。。
变化也不是固定的偏移，响应随接触增长的过程都可能改变。
这就很麻烦了，而且触觉的信噪比其实不高。
说人话就是，有效的信息和噪声没办法很好的区分开来。我做了个示意图。
如果只是所有数值稳定地偏大一点，还能想办法标定。现在是同样的操作，今天得到一种变化，过几天又得到另一种变化。
模型要面对的差异里，混合进了传感器自身的状态变化。
换句话说，你以为自己在增加数据，实际也可能在不断增加新的分布差异。
以及，换个人戴手套采数据，得到的信号也不一样。
甚至如果人手大一些，戴上手套就可以会有预压力的噪声信息。
如果这层预压力始终固定，处理起来还算容易。可人在操作时会不断弯曲手指，手套也在被拉伸、挤压，触觉信息会跟着动作一起变化。
最难处理的，是这部分噪声还有规律。
负责人说跟我说，这类有规律的信号是非常容易被模型捕捉到的。
比如某个手指每次弯下去，某些触点就出现相似的变化，它很容易把两者联系起来。
到了本体的灵巧手上，却没有同样的佩戴关系，也没有同样的织物拉伸过程。训练时很好学的东西，部署时可能派不上用场。
聊到这里，我才更具体地理解，他们为什么要在数据上花这么长时间。
所谓去噪，会涉及到很多数据处理上的脏活累活，你得想办法把真实的接触保留下来。
不同采集员完成同一个动作，施力习惯也会有差别。团队因此在采集约束、数据处理和质检上都做了非常多工作。
具体方案没有完整公开，我们能确认的是，他们没有把拿到手的原始触觉信号直接堆进训练。
2）有些变化，在传感器这一端就已经丢了。
另一类问题是饱和。
比如手指还在继续用力，传感器已经到了量程上限，输出不再变化。对模型来说，后面的接触过程就被压成了一个平的数值。
负责人提到，他们尝试过用数据处理缓解饱和造成的信息损失，但帮助有限，最终仍然需要硬件改进。
算法可以处理已经测到的信息，传感器没有留下的变化，就不太好办了。。。
谈到力的绝对力值，负责人也分享他们心路历程发生的变化：
我们最开始可能会觉得就是力的标定精度是非常重要的。
但和不同厂商反复 battle 之后，我们也逐渐接受了当前硬件上的种种限制。
于是就把学习重点转向力的变化、滑移等接触过程中的动态信息。
交流的时候拿了个杯子举例，说自己未必知道用了多大的力，但有一件事能感觉到：
“我是知道力是在变大还是在变小的，也能感知到杯子是否在手中发生滑移，触觉动态变化和接触事件是模型需要去学习的重点。”
这也是他们希望模型能理解到的东西。
3）不同路线，连采集方式都要重新考虑。
灵波最初希望更多使用手套采集的数据，但一些方案的设备戴到手上之后，会遇到体积和操作便利性的问题。
传感器较厚，采集员自己的触感也会受影响，精细动作就更难做。
这一点我们之前也提到过：为了记录触觉，得先屏蔽人手的触觉，设备还是改变了人原本的触觉和操作方式。
目前没有更好的方法，大家都还在探索过程中。
实际上，各家传感器的表达方式也差得很远。
就比如压阻是稀疏的点阵，视触觉是材料的形变。并且每家传感器的触点个数、如何排列等等，乃至每个数值表达的含义，也都不一样。
所以论文里的压阻和磁式数据来自人类手套，视触觉是 Sharpa Wave 灵巧手的真机遥操（MANUS 手套）。
大约三分之二来自手套，三分之一来自真机。这个组合背后有实际的采集取舍。
以上种种原因，都导致了触觉数据不太好 Scaling。
蚂蚁灵波首席科学家沈宇军最近也强调说：“这些能力的沉淀，最终还是要回到数据上。在一味的扩大数据规模之前，要先弄清楚什么样的数据值得继续积累。”
LingBot-Touch 就是要在诸多不成熟和不确定的硬件前提下，尝试得到一个现阶段能被大家借鉴的结论。
所以，我也想强调下五千小时数据真的不算少。
而回到本章节最开始的问题，触觉算法的壁垒在哪里？
是数据，是你为了想把数据用好，深入每一类传感器、每一个手套和数采过程中解决的种种问题。
这些东西，是在模型架构背后，沉淀下来的方法论和最底层的壁垒。
1
模型层面的一些思考。
这两天已经有很多详细介绍 LingBot-Touch 算法细节的文章了，我就不再赘述。
我最初想弄明白的是：为什么要专门为灵巧手做一个触觉基础模型？
负责人用一个薄壁杯举例。
夹得太松，杯子会滑；夹得太紧，杯壁又可能变形。
机器人如果想完成这个动作，还是需要知道接触的具体细节。
难点在于，不同灵巧手的传感原理、指尖布局和采样频率都有很大差距。
相近的接触，在不同设备上也可能表现为很不一样的信号。如果每换一款手或一个任务，都要重新训 policy，那成本还是太高了，而且触觉经验也不好积累和复用。
所以负责人也总结了下他们的出发点，让同一个模型从多种触觉传感器的数据中学习可复用的接触表征。
算法的架构还是挺简洁的，就是每一类的传感原理都有自己的编码器单独处理。
说句题外话。其实还有一个好处，就是可以证明触觉和视觉可以解耦，这是我们当时调研发现很多工作都很难证明的问题。
下游是把基模输出的 token 接到 VLM、policy，还是其他的 head 里面，就看自己试了。
他们自己是接了 Diffusion Policy、π0.5、LingBot-VLA 和 T-Rex 做验证，做了无触觉、加入原始触觉、加入预训练触觉表征三组对照。
整体实验结果大家可以看一下。
官网有个摸麻将的分类 Demo，觉得还挺有意思。
还有一个 SD 卡的插拔，不是两个手指捏起来 SD 卡，是一个手指勾起来的那种，很类人。
1
站在算法这边，提一些自己的看法。
聊到最后，我也问了负责人一个很实际的问题：从算法的角度，最希望触觉传感器先解决哪三件事？
按优先级，他提到了一致性、寿命，再往后是全掌覆盖和感知点怎么分布。
1）先把同一个传感器自己的变化控制住。
这是目前算法体感上最大的问题。
从算法的视角，非常希望硬件可以提供一份能够长期信任的输入。
如果硬件用了几天，响应就变了，后面很多的结论都会受到影响。
而如果要把触觉传感器做成耗材，我觉得又会限制传感器本身的市场空间。
大家还需要一起努力。
一致性、一致性，还是 XXX 的一致性。。。
2）寿命问题也是一大卡点。
实际上，我自己的体感是手套用两周就会有漂移。。。
负责人也 offer 了类似的感受，他们接触过的一些手套，使用寿命离团队期待还有很大距离。
这些问题的代价会传到采集端。
中间会导致很多的运营问题，比如新设备的校验、标定等等，都得重新确认。
那换个角度，如果触觉传感器注定是易损件，我希望更换它之后，系统能较快恢复到一个可用状态。
哪些部分换了需要重新标定，哪些数据还能继续用，最好能有明确的说明。
这是我从算法和数采的角度补充的一点期待。
3）全掌触觉要继续做，感知点也要放在合适的位置。
目前大部分的触觉主要覆盖指尖。
但人做操作时，物体也会接触指侧和掌面。只看指尖，信息总有缺口。
负责人提到，全掌触觉也会有很大的探索价值，只是能用于验证的大部分是 3 * 3 or 5 * 5，相比人手的触觉来说还是不太够。
以及算法侧想要的是合适的信息分布。
什么地方需要更细的空间信息，什么地方主要需要及时发现接触和滑动，应该结合任务去判断。
这里也可以推演下灵巧手未来的触觉形态，会非常有可能装配不同的触觉传感器。
指尖需要较细的接触信息，掌面要兼顾厚度、面积和集成空间，单一路线未必在所有部位都合适。
负责人设想，某些指尖用视触觉，其他区域采用压阻或别的方案。
如果产品往这个方向发展，跨传感器的需求就会直接出现在同一只手上。
我也分享蚂蚁灵波首席科学家沈宇军的一句话：现实中没有 100% 零误差的传感器，尤其是在触觉等传感器尚不成熟的方向。
机器人必须要从带误差的数据中理解环境。
模型需要提高对误差的适应能力，硬件也要让输入更稳定、差异更可描述。
这两件事需要一起往前做。
1
尾声。
OK，最后再谈一下自己真实的感受。
不可否认的是，触觉还处于非常早期的阶段。
但对于一个承载着机器人能力想象空间的赛道，我会认为还是非常值得大家去推进的。
灵波的 Touch 工作，让我留下最深的印象有两点。
一是大量的数据处理工作，二是跳出现状做纯触觉的基模。
这些东西是模型背后，大家看不到的地方。
也期待下他们后面可以 Cover 电容类的触觉传感器，做出更多大家认可的工作。
以上。
