机器人前瞻（公众号：robot_pro）
作者 | 周加琦
编辑 | 漠影
机器人前瞻11月4日报道，今天，物理世界模型创企LiberAI正式发布Liber-0，一个基于超220万小时人类经验数据预训练的世界动作模型。
LiberAI创始人刘松铭，出生于2000年，是清华大学计算机系博士，曾获得清华大学特等奖学金，多年保持年级第一。刘松铭师从视频生成模型领域学者朱军教授，主要研究方向涵盖人工智能、具身智能及世界模型。
该模型结合大规模人类视频、LiberSense Glove采集的人手动作数据，将人类操作经验转化为机器人的操作能力，减少对真机数据的依赖，提升跨任务、跨本体的泛化能力。
实际测试中，Liber-0展现出零样本泛化能力。在GPT-6随机生成的60项任务中，LiberAI开展了600次真机测试，无需针对测试任务专门采集机器人示范数据，该模型便取得36%的总体成功率。
另外的实验结果显示，结合数据手套采集的人类操作数据，即使真机数据减少75%，模型表现仍超过仅使用完整真机数据训练的模型。
一、GPT-6随机出题，60项任务成功率为36%
为了验证Liber-0的实际操作能力，LiberAI开展了一系列零样本真机测试。
此次测试的60项任务由GPT-6随机生成，分为三类，包含PnP（抓取放置）、Non-PnP（短程非抓取放置），以及更复杂的多步骤非抓取放置任务，每类各20项，难度逐渐攀升。
该公司对每项任务进行10次测试，共计600次。最终，Liber-0取得36.0%的总体成功率，其中抓取放置任务成功率达到63.5%，短程非抓取放置任务成功率为34.0%，复杂多步骤任务成功率为10.5%。
此外，LiberAI还引入了GPT-6 Astra作为对照，让其独立控制机器人执行相同的60项任务，每项任务测试3次。
结果显示，Astra在三类任务上的成功率分别为8.3%、5.0%和1.7%，整体成功率仅为5%。并且，Astra单次决策的平均推理时间为87.3秒，成功任务的平均完成时间为17.8分钟。这也反映出，尽管通用大模型已经具备一定的机器人操作能力，但在实际操作中，仍面临动作精度、连续执行及推理延迟等挑战。
除了零样本任务评测，LiberAI还展示了Liber-0在多步骤操作中的实际表现，包括制奶茶、整理物品、操作抽屉等任务。
二、超220万小时数据预训练，让机器人学习人类操作
Liber-0能够在未经针对性训练的任务中完成部分操作，与其利用大规模人类经验的训练方式有关。
长期以来，机器人操作主要依赖针对特定机器人和任务采集的示范数据。但这种方式采集成本高，且难以快速扩大数据规模。相比之下，互联网存在大量人类操作视频，涵盖不同物体、任务和环境，为机器人学习提供丰富的数据来源。
不过，人类视频数据无法直接转化为机器人可执行的动作。一方面，人类与机器人在结构、运动方式上存在差异；另一方面，普通视频难以准确获取人手动作数据，增加技能迁移难度。
针对这些问题，LiberAI围绕模型架构、数据训练和机器人硬件进行设计。
▲Liber-0 整体技术框架（图源：LiberAI）
在模型架构上，Liber-0采用混合Transformer架构，包含语言、视觉和动作三个模块，能够联合预测未来画面与操作动作。同时，该模型引入统一本体表征，将人类和机器人的身体结构、运动学特征等信息进行统一编码，让模型根据不同本体预测对应动作，支持跨本体技能迁移。
此外，该公司还引入图像分割、图像编辑和视频理解等任务进行联合训练，增强模型对任务语义、空间关系和操作进度的理解能力。
数据训练方面，该模型使用了超过220万小时人类经验数据，主要涵盖五种数据来源，包括LiberSense Glove采集的数据、跨本体机器人数据、公开第一视角视频、外部采集的第一视角视频，以及互联网人类视频。
整个预训练过程分为三个阶段。首先是通过大规模视频学习预测未来画面；随后结合人类视频、手套和机器人动作数据，联合学习视觉变化与实际动作；最后提高数采手套和遥操作数据的采样权重，强化模型的精细操作能力。
除了模型架构和训练方法，LiberAI还专门开发了LiberSense Glove和机器人LEO。
其中，LiberSense Glove是一套轻量化的可穿戴数据采集系统，手套厚度仅为0.3毫米，重量为131克，能同步采集人手运动数据和第一人称视角视频。并且，该手套无需配套机器人即可采集数据，能够覆盖更多人群、任务及日常环境，降低大规模操作数据采集的成本。
▲LiberSense Glove（图源：LiberAI）
LEO则配备灵巧手、前臂、可活动腰部，以及具有三个旋转自由度的手腕，使机器人能够完成更接近人类的手腕旋转、弯腰和伸展等动作。
▲LEO（图源：LiberAI）
三、减少75%真机数据，结果表现反而更好
另外，LiberAI还通过多组实验，进一步验证了不同数据来源对机器人操作能力的影响，以及减少真机数据后的效果。
首先，该公司通过对比五类不同数据来源，观察随着训练规模的增加，模型操作能力的变化。
结果显示，数据手套采集的数据展现出明显优势。其中，仅使用1万小时手套数据进行预训练，并经过相同的机器人数据后训练后，模型在PnP和Non-PnP两类评测中，均超过了200万小时网络人类视频数据进行预训练的模型。
▲不同数据来源的预训练 Scaling 曲线（图源：LiberAI）
在此基础上，LiberAI进一步测试了人类手套数据能否减少机器人真机数据的需求。
实验中，团队以仅使用机器人示范数据训练的模型作为基线，再将手套数据与不同比例的机器人数据结合进行训练。
结果发现，仅保留25%的机器人示范数据，并加入手套数据后，模型的任务得分达到75.6，超过使用全部机器人示范数据训练的72.8分。
换句话说，即使真机数据减少75%，加入人类手套数据后的模型表现反而更好。
此外，人类手套数据还能够帮助机器人学习真机示范数据中没有的操作技能。
该公司设置了一组实验，让机器人示范数据仅包含抓取放置任务，再额外加入人类手套采集的非抓取放置操作数据。
测试结果显示，模型在非抓取放置任务上的得分由2.2提升至47.5，表明人类操作数据能够帮助机器人获得原本未通过真机示范学习的技能。
▲不同任务覆盖范围的手套数据与机器人数据组合实验（图源：LiberAI）
LiberAI还考察了人类身体形态多样性对技能迁移的影响。在保持训练数据总量不变的情况下，实验分别使用来自1人、3人、10人、30人和100名示范者的数据进行训练。
结果显示，随着示范者数量增加，模型的跨本体迁移表现逐步改善。其中，在手套数据与少量机器人数据混合训练的设置下，任务得分由60.6提升至69.5。
这说明，除了增加数据规模，让模型学习不同人的手部结构和操作方式，同样有助于提高机器人的操作能力。
结语：人类操作经验的规模化利用仍需探索
扩大训练数据规模只是其中一步，如何让不同来源、不同身体形态下的操作经验被机器人有效利用，是提升机器人通用操作能力的关键。
目前，如何准确获取人类操作过程中的接触、力度等物理信息，仍是需要解决的问题。未来，随着数据采集精度、规模和场景多样性的提升，人类操作经验有望为机器人学习更复杂的操作技能提供支持。
