作者：钟浞清
转载请联系本公众号获得授权，并标明来源
来自 UIUC、CMU 等团队的研究人员在最新研究中提出了统一概念框架，系统讨论多模态模型如何在持续接收信息的过程中，保留理解与推理能力，并协调回应、打断和任务修正。
来自 University of Illinois Urbana-Champaign、Carnegie Mellon University、Columbia University 等机构的研究团队，在综述《Native Real-Time Interactive Omni Intelligence: A Unified Framework》中提出统一概念框架，系统讨论多模态模型如何在持续接收信息的过程中，保留理解与推理能力，并协调回应、打断和任务修正。文章比较系统适配与模型原生两条发展路径，进一步讨论多速率计算与会话级评测，为分析实时交互系统提供共同视角。
多模态模型已经能够结合文本、图像、音频和视频回答问题。在真实交流中，输入却往往没有明确的结束时刻：用户可能在模型回答时补充条件，视频中的场景可能持续变化，工具结果也可能在任务修改之后才返回。
例如，用户让语音助手查询周五的会议时间，系统开始检索后，用户又补充「改成下周一，下午也不行」。这时，助手需要继续听取补充、更新当前任务，并判断先前启动的查询是否仍然有用。回答生成得多快、旧查询是否准确，都无法单独说明系统能否处理好这次变化。
这类问题把模型的内容能力与交互过程联系起来。系统既要理解新信息，也要判断什么时候可以回应、什么时候需要等待，以及正在进行的回答或行动是否应该调整。该综述围绕这些要求，将模型表示、架构、训练、状态维护、部署与评测纳入同一框架。
研究亮点
* 建立连接 Omni Intelligence 与 Omni Interactivity 的概念框架，用流式输入、演化状态和在线响应控制描述实时交互行为。
* 比较系统适配与模型原生两条发展路径，并分析跨越两条路线的前台与后台协同设计。
* 从六个维度组织评测，讨论能力保留、运行时协调及多速率交互智能的研究问题。
* 论文地址：
https://preprints.org/manuscript/202610.1649
* 项目主页：
https://plan-lab.github.io/interactive-omni
* 资源仓库
https://github.com/ShenYifanS/Awesome-Interactive-Omni
概念框架如何描述持续变化的交互
综述首先区分两个相互关联的概念。Omni Intelligence 关注跨模态的理解、知识、推理和生成能力；Omni Interactivity 关注交互展开时的响应决策，包括何时回答、何时等待，以及何时修改或停止输出。两者共同构成 Interactive Omni Intelligence。
这一划分让研究者能够同时检查内容和行为。一个系统可能回答准确，却无法利用随后到来的纠正；另一个系统可能很快接话，但尚未获得足够证据就作出判断。框架把这些表现放到同一次交互中考察，分析模型的能力如何在持续变化的条件下得到运用。
图1 实时交互式 Omni 智能的总体框架，连接交互要求、流式表示、模型、执行与评测。来源：论文图1。
具体而言，文章用三个属性描述实时交互:
- 流式输入（Streaming Input）：允许信息逐步到来，包括连续音视频、文本更新、屏幕变化和工具反馈。系统需要在信息尚未完整时开始处理，并随输入到来继续推进。
- 演化状态（Evolving State）：要求系统能够把新信息纳入当前交互状态，即使先前的推理或生成尚未结束。会议查询中的日期修正，需要改变系统正在维护的任务条件，并影响后续处理。
- 在线响应控制（Online Response Control）：涉及输出何时启动，以及交互中的输出能否修改或停止。其对象可以是语音、文本、工具调用和界面操作。用户打断之后，系统需要根据更新后的状态决定如何继续。
这三个属性描述系统的交互行为。具体实现可以采用流式接口和外部控制器，也可以把相关机制纳入模型架构与训练。支持更多模态、降低生成延迟，与实现上述行为之间还需要逐项建立联系。
图2 单工、半双工与全双工语音交互。不同模式分别对应单向通信、交替发言，以及允许重叠的同时听说。来源：论文图2。
2 条发展路径
连接模型能力与交互控制
围绕这些属性，综述比较了系统适配与模型原生两条路径。前者在预训练语言或全模态模型周围增加接口、模块、后训练与编排；后者在架构和训练中学习时间结构、连续多模态处理、生成及交互控制。
系统适配中的模块协作与状态传递
典型级联系统将语音活动检测或端点检测、语音识别、语言模型、语音合成与播放控制连接起来。流式识别可以逐步处理用户语音，增量语音合成可以根据部分文本提前生成音频，外部控制机制负责话轮切换、打断与恢复。
这种设计便于单独优化和替换组件，但各模块之间还需要传递时间信息与任务状态。例如，用户打断时，系统需要处理已经生成却尚未播放的语音，并区分用户实际听到了哪些内容。否则，后续回答可能引用用户从未听见的信息。
系统适配还可以接入记忆、检索与工具调用。用户修正请求后，变化需要传给已经启动的工作，系统也需要判断哪些中间结果可以保留、哪些应当重新计算。
模型原生路线中的时序建模与训练
音原生全双工模型联合建模双方语音流，学习重叠语音、简短反馈与话轮交接的时序关系。全模态输入输出模型进一步整合视觉等信息，探索跨模态对齐和流式生成。不同模型对持续输入与响应控制的支持程度，需要结合具体实现判断。
训练数据也需要保留交互中的时间结构。停顿可能表示犹豫，也可能意味着话轮结束；插话可能是确认、纠正或要求停止。模型需要结合语境学习这些信号如何影响内容生成与响应时机，评测也需要检查相应行为。
无论采用哪条路径，都需要考虑音视频信息以什么形式进入模型。对于音频，不同的表示方式能保留的语义和声音细节有所不同，所需的计算量也不同。对于视频，采样与压缩方式会影响哪些画面变化得以保留，以及新信息多久能够进入模型。因此，这些选择会同时影响内容理解与响应延迟。
多速率计算
协调快速交流与较慢推理
实时交互中的各项工作具有不同的时间要求。话轮交接、简短反馈与打断处理需要及时响应，检索、验证、规划和工具执行则可能耗时更长。综述将不同计算时间尺度之间的协调概括为多速率交互智能（Multi-Rate Interactive Intelligence）。
前台与后台分工是其中一种设计。前台持续接收输入、处理简短回应与打断，后台执行较慢的推理、检索或记忆更新。这样的机制可以出现在系统适配和模型原生两条路径中。
并行执行还需要解决结果返回之后的处理问题。后台查询可能基于尚未完整的请求启动，并在用户修改条件之后结束。如果返回结果直接进入回答，就可能把已经失效的信息重新带回会话。
为此，系统需要记录后台操作对应的任务版本，在结果返回时检查其与当前请求的关系。仍然有效的中间结果可以复用，过时工作则需要取消或重算。对于已经产生外部影响的操作，恢复还取决于该动作能否撤销。
这也解释了为何「开始回应」与「给出有用答案」需要分别衡量。助手可以先说一句「我查一下」，同时继续收集证据；真正推动任务完成的时间，则取决于后续推理、验证和工具执行。多速率设计需要兼顾这两个阶段，并保持前台与后台状态一致。
6 个评测维度考察完整交互过程
为了比较不同系统，综述将评测组织为六个维度：延迟、时机质量、内容质量、鲁棒性、长会话质量和修复能力。
延迟包括开始生成、客户端播放语音，以及响应打断等不同阶段的耗时。时机质量进一步检查系统是否在合适的时刻发言：用户只是短暂停顿时，系统是否过早接管话轮；用户已经结束发言时，系统是否及时回应。
内容质量关注正确性、完整性与指令遵循。鲁棒性考察重叠语音、噪声和旁人说话等条件下的表现。一次流畅的演示可以展示部分能力，但仍需要覆盖这些不同条件的测试。
长会话质量关注实体、事件、任务条件和记忆能否在持续交流中保持一致。用户模拟可以提供补充评估：模拟用户与系统互动，再依据产生的交互历史评估表现。修复能力则检查系统是否纳入纠正、停止过时输出，以及恢复后的响应是否满足修改后的请求。
这些评测还需要报告硬件、网络、并发负载和资源预算等条件。不同论文所用任务与部署设置并不一致，单个分数很难说明完整的交互体验。按时间记录输入、响应、纠正和工具结果，有助于分析错误发生在哪个环节。
文章进一步讨论了智能与交互之间的权衡（Intelligence–Interactivity Trade-off）。训练阶段需要检查语音与交互适配之后，原有知识和推理能力能否保留；运行阶段则需要协调计算预算、回应时机及证据有效性。相关结果依赖模型、数据、训练方法和系统实现，现有证据并不能说明实时交互必然导致推理能力下降。
长期状态与开放环境带来新的要求
当交互持续更长时间，系统需要区分当前信息与已经失效的信息，保留尚未完成的任务，并支持用户修改或删除记忆。多人交流还需要区分说话者、被说话的对象以及行动权限，避免把旁人的话误当成用户指令。
主动交互涉及何时介入。系统观察到新事件后，需要结合任务、用户指令和当前情境，决定是否给出提醒，或者继续等待。评价时应区分有帮助的干预、错过的机会和不必要的打扰。
持续感知也增加了隐私与安全要求。音视频可能包含旁人谈话或私人屏幕内容，系统需要分别约束信息的采集、处理、传输、存储与使用。发送消息、披露信息或控制设备等操作，还需要根据不确定性及其后果设置确认边界。
网络、传感器或工具发生故障时，系统需要明确的降级行为。例如，减少视觉采样、推迟后台计算或转入更有限的交互模式。能力发生变化后，系统需要说明缺失的信息或延迟，并尽可能保留当前交互状态。
图3 开放问题与研究方向，包括多速率交互、持久与主动交互，以及安全高效的开放环境运行。来源：论文图15。
写在最后
这篇综述以概念框架和文献比较为主要贡献，连接多模态能力、交互控制与不同时间尺度上的计算协调。它提供了分析系统的具体问题：新信息能否更新当前理解，正在进行的响应能否随之调整，后台结果是否仍然适用于当前任务，以及出错之后能否恢复。
对于实时多模态助手，这些问题需要在同一次持续交互中得到检验。随着模型进入更长的会话、更多参与者和更复杂的部署环境，能力保留、状态一致性、隐私与行动安全也需要共同评估。论文与项目页面整理了相关研究，可供进一步阅读与比较。
参考资料：
https://preprints.org/manuscript/202610.1649
