机器人前瞻（公众号：robot_pro）
作者 | 刘俐杉
编辑 | 许丽思
机器人前瞻10月21日报道，今天，英伟达发布并开源了数据引擎Flora。该引擎目前已用于训练GR00T系列模型。
Flora作为一套数据引擎，主要将海量的原始机器人视频，转化为基础模型训练所需的高质量数据。该系统分别由动作描述模型、时间分段模型和奖励模型三个模型组成，它提供了带时间戳的动作描述、过程奖励和结果奖励等训练数据。
▲Flora功能概览
在WGO-Bench动作描述基准测试，以及RoboReward和Robometer奖励基准测试中，Flora均取得了当前最优成绩（SOTA）。在内部基准测试中，Flora的表现可与GPT-6 Astra媲美，并超过其他前沿模型。
在成本方面，Flora的成本约为GPT-6 Astra的1/125。具体来看，Flora的标注质量得分为57.1%，估算成本为每小时源视频0.72美元；GPT-6 Astra的标注质量得分为53.7%，估算成本为每小时源视频88.49美元。
Flora已经通过大规模实际应用验证。目前，该数据引擎依托512块GB300 GPU，每天可标注20万小时的数据。
一、三个模型分工协作，把原始视频变成训练信号
机器人基础模型已经从面向单一机器人本体的策略模型，发展为在大规模、异构数据集上训练的通用模型。
对于这些大规模数据集，高质量标注是提升模型性能的关键。
预训练需要带时间戳的动作指令。这些指令既能帮助模型学习语言条件控制，也能让研究人员重新调整训练数据的混合比例。
强化学习后训练（RL post-training）则需要过程奖励，用来衡量机器人在一个任务执行过程中取得的进展。
在实际部署阶段，还需要结果奖励来监控机器人集群、发现故障，并大规模评估机器人策略。
英伟达此次发布的Flora由三个模型组成，分别是动作描述模型、时间分段模型和奖励模型。三者协同工作，可生成带时间戳的动作描述、过程奖励和结果奖励。此外，用户还可以在测试时自定义评分标准，以灵活地生成奖励。
那么三个模型具体是如何协同工作的？
首先，系统会将一段任务视频划分为多个相互重叠的窗口，每个窗口既有重点分析的区域，也保留前后的视频作为参考。
而时间分段模型需要预测每个动作的开始和结束时间，以及动作是否延续至窗口的左边界和右边界之外。
随后，系统通过确定性过滤规则，只保留与中心输出区域相交的动作片段。
由于同一个动作可能被不同窗口分别记录，系统会根据时间是否重叠、动作是否延续等信息，将属于同一个动作的片段拼接起来，还会通过调整窗口位置重新识别动作边界，让时间定位更加准确。
如果多个动作同时发生，系统也会分别保留它们的时间区间，不会将它们合并为一个动作。
系统还会在时间位置有所偏移的窗口上重新运行分段模型，以进一步修正动作区间的边界。
▲Flora将机器人视频转化为可复用的训练监督信号
其次，动作描述模型主要负责定位每个动作发生的时间，需要结合视觉上下文描述该动作，说明机器人在这段时间内做了什么。它不仅要识别物体，还要理解动作意图，以及不同操作主体之间的分工。
例如，论文提到了在电线插入操作中，Flora能够正确识别出插入电线这个动作，并且区分了两只手的的分工：一只手握住连接器，另一只手负责插入电线。而GPT-6 Astra却将其描述为操作花朵部件。
最后，奖励模型Flora-Rewarder，则用于评估单个执行步骤、整个任务的完成情况，或用户自定义评分标准下的任务表现。
一个奖励模型同时支持结果奖励、稠密奖励和基于评分标准的奖励标注。
二、基于Qwen3.5微调，结合监督学习与强化学习训练
为了构建Flora数据引擎，研究团队基于开源Qwen3.5系列视觉语言模型（VLM）进行微调。
监督微调（SFT）使用NeMo AutoModel。强化学习（RL）则采用基于PyTorch的自定义实现。
其中，时间分段模型以Qwen3.5-9B为初始化模型。动作描述模型和奖励模型则以Qwen3.5-27B为初始化模型。
训练数据由三部分组成：开源数据集、获得授权的专有数据集，以及团队自行采集和标注的内部数据集。
人工标注人员依据详细的标注规范，为数据提供带时间戳动作描述和动作质量标签。奖励模型的监督数据，还包括任务结果标签和评分标准下的人工评分。
在监督微调阶段，三个模型均通过最小化输出词元的交叉熵损失进行训练。不过，不同的模型采用不同的训练方法。
时间分段模型采用低秩适配（LoRA）方法训练，并冻结视觉编码器，其训练目标包括窗口内的动作时间区间，以及表示动作是否延续至窗口边界之外的标记。
动作描述模型则会更新语言模型和视觉特征合并模块，其训练目标则使用人工标注的事件边界和相邻上下文。
对于奖励模型，训练过程会同时微调语言模型、视觉特征合并模块和视觉编码器。视觉编码器采用较低的学习率。
奖励模型的训练数据包含结果奖励、稠密奖励和基于评分规则的奖励三类。研究团队将这三类奖励任务的数据混合打乱后统一训练，不进行重新加权，也不对任何一类数据进行采样，训练一个轮次。
基于评分标准的示例采用思考模式回答，结果奖励和稠密奖励示例则直接生成答案。最终发布的奖励模型只经过监督微调，没有进一步进行强化学习训练。
在此基础上，研究人员进一步使用GRPO，对经过监督微调的时间分段模型进行优化。训练时只更新LoRA参数。系统使用组内平均优势，并以固定的监督微调策略为参照，进行KL散度正则化。奖励计算仅针对每次输出的中心区域。
同时，研究人员使用GRPO优化经过监督微调的动作描述模型。训练采用一种以参考标注为依据的细粒度内容点质量奖励。
这一奖励机制允许对有证据支持的部分内容给予部分分数，而不是只判断整条描述是否完全正确。
训练过程采用组内平均优势，并以固定的监督微调策略为参照，进行KL散度正则化。在基准测试前，研究人员分别根据验证集表现，为时间分段模型和动作描述模型独立选择训练检查点。
三、多项基准测试验证效果，成本仅有GPT-6 Astra的1/125
研究人员通过WGO-Bench动作描述基准测试，以及RoboReward和Robometer奖励基准测试等多项基准测试，评估Flora的动作识别、时间定位和奖励判断能力。
在WGO-Bench测试中，包含100段视频，其中包括25段人类第一视角操作视频、50段采用外部视角拍摄的机器人操作视频，以及25段采用头部相机视角拍摄的机器人视频。
包括Flora在内的所有系统，在两个阶段都会接收任务指令。
研究团队采用一对一时间匹配方式进行评估，时间交并比（tIoU）阈值设为0.75。同时，使用公开的纯文本动作描述评分标准，联合匹配则要求预测的动作时间区间，和动作描述均与标注结果相符
Flora的平均分段F1为50.3%，平均联合F1为34.5%，在人工标注参考区间上的动作描述准确率为64.7%。
▲WGO-Bench测试结果
在分段任务中，Flora排名第一；在联合F1指标上，Flora排名第二，仅次于GPT-6 Astra的39.0%。
在动作描述准确率方面，Flora仍落后于GPT-6 Astra和Gemini 3.8 Flash。Flora主要优势体现在动作发生时间的定位上。
为了进一步测试不同机器人操作场景，因此，研究人员还构建了DenseCaptionBench。
该基准包含300段完整任务视频，其中人类操作、平行夹爪机器人操作和灵巧手机器人操作各100段。机器人视频保留了所有相机视角。
数据集筛选时，研究团队优先保证任务类型、动作类型和操作主体的覆盖范围，不使用模型性能得分作为筛选依据。
在Human 100子集上，Flora的分段F1为54.6%，动作描述质量得分为66.5%，联合F1为37.4%。三项指标均排名第一。
在Robot 200数据集上，Flora的平均分段F1、动作描述质量得分和联合F1分别为66.9%、73.7%和51.0%。
▲DenseCaptionBench测试结果
在人类操作任务的联合F1指标上，Flora比GPT-6 Astra的29.7%高出7.7个百分点。
在Robot 200子集的综合表现上，Flora整体排名第二，仅次于GPT-6 Astra。Flora的联合F1为51.0%，GPT-6 Astra为57.9%，排名第三的基线模型为33.6%。
在奖励标注方面，研究团队在两个公开基准和两个内部基准上，评估Flora-Rewarder的结果奖励、稠密奖励和基于评分标准生成的奖励。
在RoboRewardBench测试中，包含2,831段任务视频，由人工按照1–5分的结果等级进行标注。团队将模型预测结果解码为分数，并计算平均绝对误差（MAE）。
如下图所示，Flora-Rewarder的MAE为40.0。相比之下，GPT-6 Astra为55.4。
▲RoboRewardBench/RobometerBench测试结果
在RobometerBench测试中，主要评估模型能否根据质量对567条分布外（OOD）轨迹进行排序，以及对于成功的分布内（ID）和分布外轨迹，模型预测的任务进度是否随实际执行时间推进。
Flora-Rewarder根据预期结果奖励对轨迹进行排序，并通过累积稠密奖励来估算任务进度。
在OOD轨迹排序方面，Flora-Rewarder的得分为72.0，仅次于GPT-6 Astra的82.3。
在ID轨迹的VOC指标上，Flora-Rewarder与GPT-6 Astra并列，得分均为98.9。在OOD轨迹上，Flora-Rewarder的VOC达到99.6。
在所评估的指标中，Flora-Rewarder超过了已有研究报告的专用奖励模型。
需要注意的是，VOC评估的是成功任务中的进度排序能力，不能据此认定模型具备准确的失败检测能力。
在稠密奖励的测试DenseRewardBench中，包含40段留出的双臂机器人操作视频，由人工标注动作质量，共计评估4,861个时间步。
Flora-Rewarder的最大优势在于失败检测。对于被标注为失败的时间步，Flora-Rewarder的召回率为53.3%，而其他基线模型均未超过11.7%。
▲DenseRewardBench测试结果
不过，更高的失败召回率也带来了代价，Flora-Rewarder会将约11%的正常操作时间步误判为失败。
成本方面，评测使用DenseCaptionBench中固定的50段视频，包括20段人类操作视频、15段平行夹爪机器人操作视频，以及15段灵巧手机器人操作视频。
质量得分对三类机器人本体的分段、参考区间动作描述和联合标注任务进行等权计算。
Flora的标注质量得分为57.1%。在使用8块GB300 GPU、按每GPU小时10美元（约合人民币66.78元）计算的部署方案下，估算成本为每小时源视频0.72美元。
在最高推理强度下，GPT-6 Astra的标注质量得分为53.7%，已知用量对应的API成本为每小时源视频88.49美元。
▲Flora和GPT-6 Astra的成本
据此估算，Flora的成本约低125倍，且平均质量得分比GPT-6 Astra高3.3个百分点。
这些结果显示，Flora在动作时间定位、部分奖励判断任务以及标注成本方面都优于通用大模型
结语：机器人基础模型需要更高效的数据引擎
随着机器人基础模型逐渐发展为在大规模、异构数据集上训练的通用模型，如何高效处理海量视频，正在成为数据基础设施的重要课题。
英伟达此次推出的，面向机器人数据集的工业级数据引擎Flora，尝试将时间分段、动作描述、质量评估能力整合至一个数据引擎中，减少大规模机器人数据标注对人工和高成本通用模型的依赖。
而在基准测试中也可看出，Flora的表现可与GPT-6 Astra媲美，在RoboReward和Robometer的相关评测指标上，Flora则优于已有研究报告的专用奖励模型。
Flora的标注成本估算结果表明，大规模标注预训练数据集有望以更低的成本实现。
英伟达称，通过开源Flora，希望能够帮助整个研究社区扩展自定义机器人数据集，并探索物理领域的自动化研究、人类技能向机器人迁移等新的研究方向。
