作者：梅菜
编辑：李宝珠
转载请联系本公众号获得授权，并标明来源
随着机器人逐渐从短时、单一任务走向开放环境中的长时程自主操作，其需要建立能够跨时间、跨视角保存物体及其空间关系的长期记忆，以支持导航、物体查找和时空问答等任务。
近年来，基于视觉语言模型（VLM）的场景描述为机器人构建语义记忆提供了新的路径，但 VLM 的输出往往存在噪声，并且在不同观测视角下可能出现语义不一致的问题——当物体距离较远、受到视角遮挡，或处于复杂光照环境中时，VLM 可能生成一段看似十分确定、实际上却错误描述物体属性的文本。以 DAAAM 这类记忆系统为例，如果所选视角恰好质量较差，那么最终形成的记忆条目就可能包含错误信息，而系统却无法察觉。
针对这一挑战，来自 MIT 的研究团队将不确定性评分引入先进的空间语义记忆系统，并将其命名为 UQ-DAAAM。在固定查询预算的约束下，UQ-DAAAM 利用该评分主动优化不确定性较高的对象：通过筛选高质量视角获取新的描述，再将多视角生成的描述进行融合，形成统一的对象描述。实验结果表明，不确定性量化能够提升具身智能 4D 记忆系统的可靠性和有效性。在 OC-NaVQA 基准测试中，与基线方法相比，UQ-DAAAM 能够显著降低不确定性，并取得更好的时空问答性能。
相关研究成果以「Remember with Confidence: Uncertainty Quantification for Spatio-temporal Memory with Probabilistic Guarantees」为题，已发表预印本于 arXiv。
研究亮点：
* 提出对象级不确定性评分方法：针对多视角图像描述，建立对象级语义不确定性度量指标
* 提出预算约束下的主动优化与融合策略：在额外 VLM 查询预算有限的情况下，优先优化不确定性较高的对象，并融合多视角描述。
* 提供视角选择策略的概率保证：从理论上建立 DAAAM 视角质量评估方法与单步不确定性降低之间的联系，并推导出相应的闭式更新公式
论文地址：
https://hyper.ai/papers/2606.08277
数据预处理、场景重建、分割与跟踪
数据集与预处理
研究人员在 CODa 户外驾驶数据集上评估 UQ-DAAAM 在时空问答任务中的表现。该数据集提供 30 Hz 的双目图像、由激光雷达（LiDAR）投影生成的深度图，以及全局一致的位姿信息。
所有实验均使用前置摄像头（cam0）采集的图像，并对图像进行中心裁剪和尺寸调整，最终分辨率为 480×640 像素。深度数据来自 3D 原始估计激光雷达投影，并经过滤波处理，仅保留深度范围在 [0.05, 20.0] 米之间的数据。视频帧按照 10 Hz 的频率进行处理，与传感器的数据发布频率保持一致。
场景重建
研究人员使用 Khronos 进行实时 3D 场景图构建。TSDF（截断符号距离场）的体素尺寸设置为 0.2 米，截断距离设置为 0.6 米。
物体片段（Object Fragments）的提取参数设置如下：最小体积为 0.005 立方米，最大体积为 50 立方米；每个物体片段至少需要获得 8 次观测，且分配置信度不得低于 0.5。
可通行区域（Traversability Places）的宽度设置在 0.4 至 2.0 米之间，同时启用向地面平面的标签投影功能。
分割与跟踪
研究人员使用 FastSAM 进行开放词汇实例分割，并将其编译为 TensorRT 引擎，输入图像分辨率为 480×640 像素，分割掩膜的最小面积设置为 400 像素。
物体跟踪采用 ByteTrack，并通过基于 CLIP 的外观重识别模型（ReID）实现外观特征匹配，该模型同样部署于 TensorRT 引擎上。跟踪参数方面，新轨迹（new track）的置信度阈值设置为 0.6，轨迹缓存长度（track buffer）设置为 30 帧。一条物体轨迹必须至少累积 8 次观测，才能进入语义标注阶段。
UQ-DAAAM 框架：从不确定性识别到主动观测与语义融合
本文的研究建立在 DAAAM 的基础之上，DAAAM 能够根据 RGB-D 数据流实时构建 4D 场景图。下图展示了 UQ-DAAAM 整体框架，构建过程包括不确定性量化、主动视角选择和多视角描述聚合三个主要环节：
UQ-DAAAM 整体框架
① 不确定性量化（Uncertainty Quantification）
为了量化以物体为中心的语义不确定性，研究人员将体积语义度量（Volumetric Semantic Measurement）方法引入 DAAAM 的多视角机器人记忆构建场景。
在本文研究场景中，每个物体都从多个选定视角进行观测，每个视角均由 VLM 生成一段自然语言描述。当不同视角下生成的描述在语义上存在不一致，或者单条描述本身的内部连贯性较差时，系统的不确定性都应相应增加。因此，该研究计算方法综合考虑两个方面：跨视角语义离散程度（Cross-view Semantic Scatter）和单视角描述的不连贯性（Per-view Incoherence）。
不同视角的描述在语义方向上差异越大，或者单条描述本身越不连贯，计算得到的不确定性通常就越高。由此，系统不再仅仅依赖某一条描述的置信程度，而是综合考察多视角信息之间的一致性，以及单条描述自身的可靠程度。
② 主动视角选择（Active View Selection）
完成初始不确定性评估后，系统会将对象级不确定性与预设阈值进行比较。当某个物体的不确定性高于阈值时，意味着当前记忆中的语义解释仍存在较大歧义，需要进一步获取观测证据。此时，系统不会对所有物体平均分配额外查询预算，而是优先处理不确定性较高的对象。
从理论上看，选择额外视角可以被建模为贝叶斯最优实验设计（BOED）问题：每个候选视角相当于一次实验，物体的潜在语义状态是待推断对象，而新视角下视觉语言模型生成的描述则是实验结果。理想情况下，系统应选择能够最大程度降低预期不确定性的视角。
③ 多视角描述聚合（Multi-view Descriptions Aggregation）
在基于不确定性进行视角选择后，每个物体都会关联一组来自不同视角的文本描述。研究人员通过一个受约束的、基于大语言模型（LLM）的聚合步骤，将这些描述融合为一条统一的物体描述。具体而言，系统按照描述的获取阶段对其进行排序，即初始视角生成的描述排在前面，主动优化阶段获取的描述排在后面。在处理不同描述之间的冲突时，指示 LLM 优先采纳后续获取的描述（即优化阶段生成的描述）。
如果分歧仅存在于初始视角的描述之间，融合后的描述则会采用审慎的措辞保留不同可能性，而不是过早消除歧义。此外，研究还对 LLM 施加了进一步约束：融合结果只能使用至少一条源描述中已经包含的信息，以防止模型生成幻觉信息。
UQ-DAAAM 能够取得更好的时空问答性能
研究从下游时空问答表现、不确定性降低效果、模块消融和运行效率等多个方面，对 UQ-DAAAM 进行了评估。
① OC-NaVQA 任务评估
在 OC-NaVQA 任务中，研究将 UQ-DAAAM 与原始 DAAAM，以及多种主动优化和不确定性量化基线进行比较。其中，DAAAM-RR 采用随机方式分配额外视角查询预算；DAAAM-QR 依据原始视角质量评分，将预算分配给质量较低的物体；此外，还比较了基于邻域一致性、下一个 Token 对数似然、熵和证据评分等不同不确定性信号构建的方法。
下表的结果显示，UQ-DAAAM 在三项评估指标上均优于其他基线方法，其中在问题准确率和位置误差方面取得了最显著的提升。这表明，基于不确定性感知的主动优化能够更有效地分配固定的语义查询预算，从而提升记忆质量。
OC-NaVQA 基准测试结果，所有模型均使用 GPT-5-mini
② 不确定性降低效果（Uncertainty Reduction）评估
除下游任务的性能表现外，研究还直接评估主动优化是否实现了其直接目标，即降低对象级语义不确定性。研究采用的主要评价指标为不确定性降低率（URR），其定义为：初始阶段被判定为不确定、且在主动优化后不确定性降至阈值以下的物体数量，占初始不确定物体总数的比例。
下图中的不确定性降低结果表明，与两种不基于不确定性的主动优化基线相比，UQ-DAAAM 具有明显优势。在主动优化预算固定为 (B=2) 时，UQ-DAAAM 的 URR 达到 92.3%；基于视角质量的优化方法（DAAAM-QR）为 34.2%，随机优化方法（DAAAM-RR）则仅为 5.6%。此外，UQ-DAAAM 使主动优化后的不确定性分布明显向左偏移，说明该方法能够在更多物体上实现幅度更大、效果更稳定的不确定性降低。
不同主动优化策略下的不确定性降低效果对比
这些结果表明，本文提出的不确定性感知主动优化方法具有显著更高的优化效率。
③ 消融实验（Ablations）
研究还通过几组消融实验，进一步拆解 UQ-DAAAM 的性能来源：首先，随着单个物体的额外优化预算从 (B=1) 增加至 (B=3)，不确定性降低效果持续改善，但边际收益逐渐递减。如下图，大部分收益在 (B=2) 时已经实现；下游 OC-NaVQA 的表现也呈现相同趋势，说明少量额外视角通常就足以解决多数物体的语义歧义。
不同主动优化预算下的不确定性降低效果对比
其次，在优化对象的选择上，完整不确定性指标优于仅使用跨视角描述离散程度、或不考虑单视角不连贯性权重的方案，说明同时考虑跨视角语义分歧和单条描述质量能够提供更有效的不确定性判断。在优化视角选择方面，随机选择明显降低了系统表现；基于物体观测方向的策略与视角质量评分策略表现接近，而质量加权评分能够进一步筛选候选视角。
多视角描述融合实验则表明，融合策略同样影响最终记忆质量。相比仅使用单条最佳描述、仅融合初始描述或优化阶段描述，以及不设置冲突处理规则的普通 LLM 融合，论文提出的受约束、阶段感知融合方法取得了最佳表现。这意味着，主动获取更多观测并不是全部，如何区分不同阶段的信息、处理相互冲突的描述，同样决定了新增证据能否有效转化为可靠记忆。
在主动优化阈值方面，实验比较了对象级不确定性分布不同分位数对应的设置。结果显示，阈值从第 10 百分位数调整至第 20 百分位数时，性能明显改善；进一步调整至第 30 百分位数后仍有提升，而第 40 百分位数带来的额外收益已经有限。研究人员据此认为，默认阈值在语义查询成本与下游任务收益之间取得了较好的平衡。
结语
UQ-DAAAM 为机器人长期时空记忆提供了一种不确定性感知思路：系统不再将视觉语言模型生成的描述直接视为可靠事实，而是通过跨视角语义差异和单视角描述质量识别潜在歧义，再利用主动观测补充证据，并通过受约束的描述融合形成更稳定的物体记忆。未来，研究人员希望利用 UQ-DAAAM 来指导不同类型的机器人，例如移动机器人机械臂，并将他们的不确定性量化技术应用于其他领域。
参考文献：
https://arxiv.org/pdf/2606.08277
https://news.mit.edu/index%2ephp/2026/clearing-up-robot-fuzzy-memory-1105
