“ 仅靠一个单目摄像头和一个IMU，无人机在阿布扎比的赛道上跑出了100公里的时速，还连续淘汰了三位人类世界冠军。
这项研究来自荷兰代尔夫特理工大学（TU Delft）的MAVLab团队。近日，该成果以题为《MonoRace: Robust monocular AI for champion-level drone racing》发表在全球顶级期刊《Science Robotics》的封面上。他们的系统拿下了2025年阿布扎比自主无人机竞速大赛（A2RL x DCL）的大奖赛冠军，并在人机对决中接连击败三位FPV竞速世界冠军，最快单程完成时间16.56秒。
比赛组委会这次立下了一条硬规矩：全程只能用一个卷帘快门摄像头加机载IMU，任何外部定位系统、任何硬件改装都不允许。相比此前靠双目相机、靠动作捕捉系统的"冠军级"方案，这个设定把难度抬高了一截。
01.
一个单目摄像头，跑赢人类冠军
先看比赛本身。赛事2025年4月11到12日在阿布扎比举行，场地是一个100米×30米的室内大厅，赛道上布置了11个边长1.5米内径的方形门，其中包括两组双层门和一个split-S机动——无人机先穿过上层门，再直接俯冲反向穿过正下方的下层门。目标是跑完两圈、用时最短。
赛事一共设了四个项目：给每队15分钟单独计时的大奖赛、AI对人类FPV飞手的三轮淘汰赛、四架AI无人机同场的多机赛，以及83米直线四门的直线竞速赛。MonoRace拿下了大奖赛、人机对决和直线竞速三项冠军，只在多机赛里拿了第三，原因是它没有装避障能力，在需要套圈其他无人机时撞上了别队的机器。
单目方案难在哪？在这种速度下运动模糊本就严重，卷帘快门还会带来额外的图像畸变，摄像头线缆会受电磁干扰，IMU还会在高机动时饱和。过去的方案大多靠英特尔RealSense双目系统及其内置VIO绕开这些问题，而这一次，这些捷径全部被规则堵死。
整架无人机采用碳纤维机架，总重966克，配一个IMX219单目卷帘快门摄像头（视场角155°水平×115°垂直，90Hz）、机载IMU（加速度计1000Hz、陀螺仪2000Hz），主处理器是英伟达Jetson Orin NX。比赛期间团队训练了一系列强化学习控制网络，按最快完成时间命名，比如M16、M17、M23。其中拿下大奖赛冠军的是M17；而在人机淘汰赛的半决赛和决赛里出战、跑出16.56秒的，是M16。
02.
3×64的小网络，500Hz直接控电机
MonoRace的核心是一个叫G&CNet（制导与控制网络）的小网络，它把估计出来的状态直接映射成电机指令，完全替代了传统的内环控制器。
这个网络最早是为航天器实时最优着陆开发的，后来被团队用到高速四旋翼上。它结构很精简，只有3层、每层64个神经元，却能直接跑在飞控芯片（STM32H743，480MHz ARM处理器）上，以500Hz的频率输出电机指令。因为绕开了中间控制环节，端到端延迟极低，电机指令能在2毫秒内从0拉到100%。
训练靠的是强化学习（PPO算法）加仿真。团队在一个刻画了主要执行器动态、气动力和力矩的简化仿真里训练策略，再通过大规模域随机化迁移到现实，部分参数的随机范围高达标称值的50%。比较最快一圈的飞行数据能看到，实测的比力、力矩和电机转速大部分落在30%随机化的包络内，部分时刻超出边界，但控制器依然稳住了飞行。这说明充分的随机化让无人机扛住了那些没被建模的动力学。
03.
图像废掉一半，它也能飞完全程
控制再强，前提是状态估计够准。MonoRace的感知管线把神经网络门分割和无人机模型结合在一起，做到了硬核的鲁棒性：能在50%图像被破坏的情况下跑完全程，还能应付加速度计饱和。
整条链路是：图像先做自适应裁剪，根据预测的门位置截取最有信息量的384×384区域，交给门分割网络GateNet（U-Net结构）。分割出掩膜后，团队自研的角点检测器QuAdGate通过检测门的边缘线、再求交点来精确定位角点，这让角点坐标不再受掩膜圆角或缺损影响。之后经过基于RANSAC的离群剔除，再用PnP解算位姿，最后和高频IMU数据在扩展卡尔曼滤波（EKF）里融合。
其中两个细节最有代表性。一是对付IMU饱和。激进的RL控制器能产生高达7g的推力，加上结构振动和噪声，加速度计经常撞到16g量程上限，饱和后数据误差极大，会让EKF发散、导致炸机。团队的办法是用动力学模型实时预测加速度，一旦测量值和模型预测差得太多（欧氏范数超过22 m/s²），就在EKF里改用模型预测值，并放大位置和姿态的不确定度、更依赖视觉。拿下大奖赛的M17原本因IMU饱和炸了两次，部署这个修正后，剩下三次比赛飞行全部成功。
二是对付相机干扰。这架无人机原设计的相机排线容易在高推力下弯折、蹭到固态硬盘等部件，引发电磁干扰。10次飞行里有8%到75%的图像受损。MonoRace靠多级离群剔除扛了下来：损坏区域分割不出门就不产生角点；角点位置偏了用RANSAC二维仿射匹配剔除；再漏网的错误位姿被EKF按偏离程度拒掉。在一次75%图像损坏的飞行里，无人机在超过25米、没有有效图像的情况下仍成功穿过了一个门。
由于比赛禁止任何外部定位，团队没有真值。他们的解法是用门本身当标尺：把状态估计和已知门地图结合，将门掩膜重投影回图像，再和实际分割结果算交并比（IoU），IoU越高说明状态估计越准。这套方法主要用来校准相机外参——相机用的是灵活的3D打印支架，每次撞击或维修后角度都会变。炸机或修完后，团队用最稳的M23策略把赛道飞一遍采集数据，再用贝叶斯优化跑40次优化相机三个欧拉角。仿真验证里，这套方法把外参误差从约2°收敛到1°以内，EKF位置误差下降约50%。
论文链接：https://www.science.org/doi/10.1126/scirobotics.aee9250
