Token导航 LogoToken导航

AI 资讯 · 机器人大讲堂

东京大学强化学习让双足机器人单杠大回环12圈

更新 2026-11-22机器人大讲堂正文 3087字阅读约 10分钟10 张图片

图片

“机器人,开始玩单杠了

这几年,强化学习让机器人学会了走、跑、跳,还学会了后空翻。不过这些动作几乎都需要脚踩地面,人形机器人领域尤其如此。

人还能做很多脚不沾地的动作,比如单杠大回环、荡秋千、攀爬,这些动作全靠双臂支撑身体。机器人领域对这类动作研究得很少。已有的强化学习尝试大多是在小型、低自由度机器人上做的,或者只在仿真里完成。

东京大学JSK机器人实验室的研究人员近期在《Advanced Robotics Research》上发表了一篇论文。他们用强化学习让一台真人尺寸的双臂机器人学会了单杠大回环。策略零样本部署到真机后,最多连续转了12圈。实验结束时机器人仍在稳定旋转,是实验人员按下停止开关让它停下的。

图片

01.

脚不沾地,难在哪里

该研究对难点分析得很具体。走路时,接触点在重心下方,支撑面比较宽,身体容易保持平衡。悬空动作通常只能靠双手撑起整个身体,关节力矩或接触力稍微变一点,动作就可能大幅、快速地改变,而且很难恢复稳定。

除此之外还有两个难题。第一,手和杠之间的接触检测、摩擦和打滑很难准确建模,仿真训练经常因此出问题。第二,这类任务可参考的前人研究和数据都很少,奖励函数应该用哪些物理量,目前还没有明确答案。

所以,这项研究要解决的核心问题是:怎样让一台真人尺寸、高自由度的真实机器人,靠强化学习稳定完成以双臂为主的动态悬空动作。

02.

把双足机器人倒过来,就有了双臂

图片

【(A)双臂机器人整体外观;(B)由开源双足机器人MEVITA倒置改造而来】

硬件方面,研究人员选了开源平台MEVITA来改造。MEVITA原本是双足机器人。他们发现它的连杆长度和关节配置也适合当作一对手臂,于是把机器人整体倒过来,再把末端换成环形的手。

改造后的机器人高1093mm,重19.6kg,对应成年人上半身的尺寸。每条手臂有肩部滚转、俯仰、偏航,以及肘部俯仰和腕部俯仰5个自由度,全身共10个自由度。肘部和腕部都是并联连杆机构。

选择MEVITA有几个实际考虑。它是全金属结构,强度足够做动态动作。零部件能在电商平台买到,摔坏后方便修。关节用的是低减速比电机,仿真和真机的行为更容易保持一致。传感器只有躯干上Livox Mid‐360的IMU功能和关节编码器。做大回环实验时,环形手用螺栓固定在杠上,保证抓握可靠。

图片

【目标动作序列:从静止悬垂开始起摆、积累动量、越过单杠、持续旋转】

训练在Isaac Gym里进行,算法是PPO。建模时有一个具体问题:Isaac Gym用凸包计算接触,环形手如果作为一个整体建模,会被当成一个扁平圆盘。单杠从中间穿过时会同时触发大量接触检测,仿真随之发散。解决办法是用五个矩形碰撞盒排成正五边形来近似圆环,每个盒子作为独立凸体处理,接触计算就稳定了。盒子越多,形状越接近圆环,但计算量也明显增加。研究人员权衡后认为五个最合适。

图片

【(A)Isaac Gym训练环境;(B)机器人模型;(C)由五个矩形盒组成的环形手碰撞模型】

03.

拆成两段,再用机械能精修

图片
【学习流程总览:两个动作阶段,每个阶段两阶段训练】

这篇论文的第一个创新点是按动力学特性划分动作阶段。整套动作被分成两段。第一段是加速摆动(AS):机器人从静止悬垂开始越荡越高,属于振幅逐渐增大的非周期振荡。第二段是连续旋转(CR):机器人绕杠做完全周期性的转动。研究人员指出,用一个策略同时学这两种运动,动作容易不稳定,所以两段分别训练策略。执行时先用AS策略起摆,动量足够后再切换到CR策略。

第二个创新点是两阶段奖励设计。第一阶段负责学出动作,奖励主要看躯干绕杠的切向速度和手腕高度,鼓励机器人大幅摆动、多做探索。AS‐1训练了600次迭代,CR‐1训练了2400次。CR‐1收敛更慢,因为策略要先学会摆动,再逐步加大动量和振幅,最后才学会旋转。

第二阶段负责改进动作,这也是全文最有特色的部分。研究人员发现,摆动和大回环都可以看成单摆运动,而单摆与机械能的关系很直观,因此可以事先算出理想的能量曲线,作为奖励的参考目标。为了简化计算,躯干被近似为位于几何中心的一个质点。作者也说明,这条曲线只是简化参考,用来反映动作中周期性的能量变化,并不追求精确计算全身能量。

图片
【上排为各策略的目标动作,下排为对应的理想机械能曲线】

AS阶段的理想能量先线性上升,摆到180°时达到最大值,之后保持不变。CR阶段参考了体操运动员的大回环:身体到高处时自然减速,不额外施加过大的力矩;下落时在合适的时机屈肘重新加速,把躯干再次送上去。按照这个节奏,机械能应该一直保持恒定。为了缩小仿真和现实的差距,作者还加入了域随机化:手与杠之间的摩擦系数在0.3到1.0的范围内随机取值,连杆质量也随机变化,同时加入初始姿态扰动、观测噪声和动作延迟。

两个设计是否必要,消融实验给出了答案。

只用一个策略、不划分阶段时,从静止开始测试,仿真成功0/10次,真机成功0/2次。机器人一开始就把力矩和关节行程用到极限,想一下子把身体甩上去,结果屈肘后没能抬起躯干,最终停了下来。只做第一阶段训练时,仿真成功0/10次,动作过快、幅度过大,有时躯干还会撞到杠上,所以没有上真机测试。只做第二阶段的能量训练时,机器人连摆动都学不会,只会上下屈伸。可见,能量奖励擅长改进动作,但不足以让机器人自己发现动作。

04.

从仿真到真机,连转12圈

图片
【控制系统架构:先用AS策略,再切换到CR策略】

研究人员先在MuJoCo里做了sim‐to‐sim验证,成功标准是从静止悬垂开始连续转满5圈。10次试验成功9次,每次成功都转了10圈以上。唯一失败的一次,是因为策略切换指令没有发送成功。

图片
【仿真中的机器人动作】

在仿真中,机器人先屈伸肩关节小幅起摆,再配合肘部动作逐渐加大振幅,很像人荡秋千。切换到CR策略后,机器人顺着前摆的势头迅速屈肘,把身体送过单杠,随后进入连续旋转。数据显示,动能和势能明显此消彼长,机械能紧贴参考曲线。

真机实验直接采用零样本迁移。为安全起见,策略切换由操作员目视判断后手动触发,一般在至少5个摆动周期之后。两次试验分别连续完成8圈和12圈。

图片
【真机实验中的机器人动作】

论文也详细分析了仿真和真机的差异。加速摆动阶段,真机的能量上升有不规则波动,动作出现顿挫。肘关节数据显示,并联连杆肘部机构进入了运动学奇异位形。

连续旋转阶段,真机的旋转周期比仿真短。研究人员观察到单杠底座在旋转时会轻微抬起,推测可能和机器人的运动发生了共振,并说明这一推测只来自定性观察,还需要定量验证。真机在下落段还会出现短暂减速,可能与电机响应延迟、接近最大力矩运行,以及单杠落地时传来的冲击有关。

这项工作的核心贡献有三点:把开源双足机器人倒置改造成真人尺寸的双臂平台;按动力学特性划分动作阶段;采用先探索、后用机械能精修的两阶段奖励设计。研究人员认为,能量奖励基本不依赖具体的机器人构型,可以按设计者的意图塑造悬空动作。同时也列出了局限:策略切换还要靠人工;肘部奇异问题可能需要加装机械限位;电机动力学差异有待通过系统辨识弥补。下一步,他们计划把这套方法扩展到更复杂的体操和杂技动作,并引入视觉感知。

人形机器人的动作范围,正在从地面扩展到空中。

论文信息:Iwata A, Kawaharazuka K, Yoneda K, Okada K. Reinforcement Learning of Giant Swing Motions for a Life‐Sized Dual‐Arm Robot.Advanced Robotics Research, 2026, e202600008. DOI: 10.1002/adrr.202600008

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。