本文来自微信公众号： Z Finance ，作者：ZF编辑部，原文标题：《深度｜交互智能背后，一批年轻研究者正在走到台前》
引子
过去几年，大模型变得越来越聪明，却始终存在一个不太容易被注意到的局限：如何在世界持续变化、交互持续发生的过程中保持智能。
用户提出问题，模型开始推理，生成答案，再等待下一次输入。外部世界被切分成一个个完整的片段，智能只发生在片段之间。
但现实世界从来不会等待。人与人交谈时，我们不必等对方讲完才开始理解，也不必想好所有内容才开口；我们在倾听中形成判断，在表达中继续思考，还会因为对方一个停顿或表情，随时改变原本要说的话。
这种能力看似理所当然，今天的大模型却很难复现。
一批前沿研究正在试图改变这一点。2026年，字节跳动Seed先后把原生全双工语音模型Seeduplex和音视频全双工模型SeedRealtime推上豆包App；OpenBMB开源了可在端侧运行的全模态实时交互模型MiniCPM-o 4.5；Thinking Machines Lab发布Interaction Models研究预览；OpenAI推出GPT-Live并开放API。阿里通义、小米、阶跃星辰等团队，也沿着不同路线推进实时语音、持续推理与全模态建模。
这些工作指向同一个问题：当输入不再完整、环境持续变化，模型能否始终保持感知、推理与行动的连续性？
投资人也开始关注这一方向。科技投资人、a16z Scout Rubén曾在LinkedIn上讨论清华研究者胥博凯参与的MiniCPM-o 4.5，他关注的不只是模型本身，还有推动这些突破的年轻研究者，以及他们从实验室走向创业的可能性。
Rubén的LinkedIn帖子截图
如果向前追溯技术路线，会发现推动这场变化的人，并不来自同一种技术背景。有人从同声传译出发，研究模型何时开口；有人让模型边听边说；有人让内部推理与外部表达同时进行；还有人负责让这一切在真实系统中稳定运行。这些原本独立的方向，正在汇合成一张新的技术与人才图谱。
下一代实时交互：关键技术问题与人才图谱
想要理解这些工作如何汇合，先要回到一个基础问题：今天的人机对话与真实人际交流之间的区别是什么？
从轮流对话到持续交互：技术演进的脉络
在人际交流中，一句“我没事”，可能是真正的平静，也可能是勉强的掩饰。我们会从语气、停顿和表情中判断言外之意；对方尚未说完，我们已在组织回应；他突然改口，我们又能立即调整。人类不会把交流切成一次次独立问答，而是在信息持续变化中，实时判断什么重要、何时回应、下一步做什么。
而大模型所擅长的恰恰相反：它接收一段完整输入，再生成一段完整输出。人机交互因此长期遵循轮流、中断的节奏，你说完它计算，它说完你接话。这在简单问答里尚可接受，一旦进入需要持续协作的场景，就成为瓶颈。实时交互研究要解决的，正是模型能否从离散的问答机器，变成持续感知、思考和回应的智能体。
全双工：不是更快的语音助手
全双工（Full-Duplex）原是通信术语：对讲机是半双工，同一时刻只能一方说话；电话则是全双工，双方可以同时说、同时听。放到AI交互里，原生全双工要求模型在输出的同时仍持续接收和理解新输入，并据此决定继续、暂停还是调整回应。
2024年5月，GPT-4o推动端到端语音模型走向大众，模型可以直接处理音频，理解语调与情绪，并生成有自然起伏的语音。
GPT-4o官方发布页：实时多模态语音开始进入大众产品语境。资料来源：OpenAI，Hello GPT-4o
但端到端并不等于全双工。前者讨论输入和输出能否由同一个模型统一建模，后者讨论它们能否在时间上持续并行。早期的级联系统由语音识别、语言模型、语音合成依次工作，延迟高，还会丢失语调与情绪；端到端模型减少了中间转写，却仍没有摆脱轮次式交互，通常要等用户说完再回应。
“低延迟”也常掩盖这一区别。系统可以用语音活动检测（VAD）识别用户开口，收到打断信号就停止播报，做到百毫秒级响应；但如果模型发声时关闭了听觉通道，每次中断后只能重开一轮推理，它仍是一台响应更快的轮次式机器。VAD只判断有没有声音，不理解内容：用户停顿想词，它可能判定说完了；旁人咳嗽，它可能判定用户开口了。
设想AI正在介绍一家餐厅，用户突然说“等一下，我其实不吃辣”。依赖VAD的系统只会停下播放，等待新一轮输入；原生全双工模型则要在说话的同时理解这句话，并调整接下来的表达。而用户随口一句“嗯嗯”，通常意味着“请继续”，而不是要求停下。
因此全双工的难点除了支持打断，还在于区分噪声、附和、迟疑、抢话和真实意图。严格来说，原生语音全双工要求模型在生成输出时仍持续处理新音频输入，并根据语义与时机决定继续、暂停或调整回应，其本质上就是对连续时间的控制权——模型在每一个时刻都要决定自己该听、该说、该停，还是该换个说法。
2026年，原生全双工开始集中进入产品。4月，字节跳动Seed团队的原生全双工语音模型Seeduplex在豆包全量上线。官方评测显示，与半双工模型相比，复杂场景下误回复和误打断减少约一半，抢话比例下降约40%。7月，OpenAI用全双工架构的GPT-Live替换了ChatGPT原有的语音模式，模型每秒可多次决定继续听、开口、暂停、打断或调用工具。对话的基本单位，正从一问一答的“轮次”扩展为持续的时间流。
Seed官方将Seeduplex定义为可“边说边听”的全双工语音模型。
今天的实时交互不是由某个实验室一次性发明的。它来自同声传译、听说并行、全模态建模、持续推理、交互后训练与推理基础设施等不同路线，近两年才在同一批模型和产品中相遇。
流式处理：从同声传译学会“何时开口”
同声传译天然要求译者不等演讲结束就开口，因此必须在信息不完整时持续判断和输出。
机器同传研究把这一矛盾形式化为读写策略（Read/Write Policy）：输入尚未结束时，是继续等待，还是已有足够信息开始生成？这是在延迟与质量之间的取舍，中科院计算所自然语言处理团队（ICTNLP）在这一方向上有长期积累。
ICTNLP提出的StreamSpeech把语音识别、翻译与合成整合进同步语音翻译框架，后续的Stream-Omni又把流式处理扩展到更多模态。类似的工作还有LLaMA-Omni系列，它实现了低延迟的语音生成。但这些工作属于流式与端到端层面的前序探索，还不是全双工。
这条路线的价值在于提供了一种思路——把“何时听、何时说”变成可学习的决策问题。它的局限也很清楚。同传的输出目标相对确定，原文说什么就译什么；开放对话的目标却随时在变，还要处理插话与意图转向。从同传到对话，难度上了一个台阶。
听说并行：把对话控制交还给模型
由上海交通大学X-LANCE实验室与字节跳动研究者合作提出、发表于AAAI 2025的LSLM（Listen-while-Speaking Language Model）较早把“边说边听”作为独立问题提出：模型在生成语音时持续接收外界声音，若只是噪音、闲聊或附和就继续说，若判定用户真正插话就停下倾听。
2026年6月，中科院计算所冯洋团队发布BayLing-Duplex，进一步把用户语音、助手文本和助手语音组织成一条多通道交错序列，开口、被打断、重新开始都统一为下一个token的预测，不再依赖外部VAD。论文显示，它从一个公开的轮次式模型出发，只用约40万条全双工样本微调，就在轮次切换与打断测试上取得了较高成功率。对话控制正在从外部工程规则，变成模型自己学习的能力。
端到端全模态：在同一条时间轴上看、听、说
真实交流不只有语音，还有画面、环境声与手势。模型不能只在某个时间点拼接模态，而要理解它们何时发生、如何相互影响。
开源项目Mini-Omni系列较早提供了端到端实时语音与多模态的开源探索。2026年2月初，由清华大学自然语言处理实验室与面壁智能共同发起的开源社区OpenBMB开源了MiniCPM-o 4.5，其Omni-Flow框架把轮次式交互改写为时间对齐的全双工过程，感知与回应并行展开，还能根据持续观察的画面主动提醒。按技术报告，这个约9B参数的模型可在内存不足12GB的端侧设备上运行。
三个月后，Thinking Machines Lab公布Interaction Models，把音视频与文本切成约200毫秒的片段并行处理，并配合异步后台模型负责推理与工具调用。
这说明国内研究团队并非只能跟随海外概念，相关模型和系统已经率先公开落地。8月，字节Seed团队的音视频全双工模型SeedRealtime就在豆包上实现了“边看、边听、边说”。
Thinking Machines Lab：Interaction Models将“实时交互”提升为研究方向
需要区分的是，全模态与全双工是两个维度。例如阿里通义的Qwen-Omni系列把音频、视觉与文本纳入统一的感知底座，回答的是“模型能理解多少种信息”；而全双工回答的是“这些信息能否在时间上持续并行”，两种能力可以叠加，但不能互相替代。
持续推理：边听边想，边说边想
能同时听说，不等于能边说边想。用户通常是既要又要——既希望模型迅速开口，又不希望它为速度牺牲推理深度。
这条路线上的工作各自处理不同环节。南洋理工大学与阶跃星辰联合完成的Chronological Thinking关注“听”的阶段。多数全双工模型在用户说话时只是重复预测静音，处于空转；它让模型随话语推进按时间顺序整理意图与逻辑，用户一停就能开口。南洋理工大学团队（作者包括图灵奖得主Yoshua Bengio）的The Silent Thought（FLAIR）进一步让模型在倾听时以隐式表征推理，无需显式思维链标注。同样出自NTU与阶跃合作的Mind-Paced Speaking关注“说”的阶段，让负责推理的“构思脑”与负责发声的“表达脑”并行，表达不必等推理完成；阶跃的Step-Audio R1.1（Realtime）已明确采用这一“双脑”架构，在输出语音的同时进行链式推理。
Mini-Omni-Reasoner在token级别交错生成推理与语音；MiniCPM-o团队的Listen-Write-Speak则把倾听、可见文字输出与语音组织为三条并行通道，让模型边说边把代码、要点写出来。
工业系统给出了更务实的解法：把实时对话与深度工作拆开。GPT-Live在前台维持对话，把需要搜索和推理的任务委派给后台模型，结果返回后再接回对话；Thinking Machines Lab也采用前台交互、后台异步、共享上下文的结构。学术界的双脑、多通道方案与工业界的快慢分工，正从两个方向逼近同一个目标。
交互后训练与评测：教模型掌握分寸
有了全双工架构，模型也不会天然懂得分寸。交互后训练专门校准实时行为，例如何时切入、何时倾听、如何过滤噪音、半路被修正如何收尾以及被打断后如何接续。
其中的难点在于目标高度依赖语境，过早开口显得冒失，过晚开口失去实时感，频繁插话破坏沟通，从不插话又显得呆板。模型要学的是一套随场景变化的交互策略。评测同样困难——对话至少有两方，单独给一个模型打分很难反映真实互动。2026年以来，全双工评测基准与基于强化学习的交互对齐研究陆续出现，这一环节正成为新的研究热点。
工业侧，阶跃的Step-Audio-R1系列把强化学习与推理引入语音，StepAudio 2.5强化交互表现，DuplexSLA探索语音、语言与动作的同步调度。从语音推理到交互表现，再到语音与动作的同步，这条线把后训练从“说得对”推进到“在对的时机说、边说边做”。开源侧，MiniCPM-o的交互对齐、双工评测与Listen-Write-Speak的多通道调度构成另一套闭环。
这一环节的意义还超出语音本身。同传判断何时开口，智能体判断何时调用工具、何时继续执行，两者的底层逻辑是相通的，都是在不完整信息下决定下一步动作。实时交互积累的时序决策方法，正在向Agent领域迁移。目前这一环节的短板之一是评测尚未形成统一标准，各家报告的指标口径不一，横向比较仍然困难。
并行生长的技术：组织、团队与人才
实时交互的几条技术路线，背后是一张不大的人才网络。很多关键工作出自少数研究者之手，他们在高校、开源社区和大厂之间流动，把一个实验室的积累带进另一个团队的产品。
原生语音全双工的人才，主要来自两个长期深耕口语与流式决策的学术组织。
上海交通大学X-LANCE实验室由俞凯教授建组，他2012年从剑桥大学回国组建团队，此后十余年持续深耕口语对话系统与语音智能，emotion2vec、SLAM-LLM都出自这一积累。X-LANCE为全双工打下了感知底座，也培养了一批既懂声音又懂对话的研究者。
中科院计算所ICTNLP的冯洋团队则从同声传译切入，把“听到什么程度才开口”变成可学习的读写策略。2026年发布的BayLing-Duplex也出自这个团队。
张绍磊是较早关注实时模型的研究者之一。他从同声传译方法起步，把这条方法线推进到流式语音和多模态：StreamSpeech（ACL 2024）、高效多模态的代表工作LLaVA-Mini（ICLR 2025），再到Stream-Omni。之后他又把流式决策方法迁移到DeepAnalyze等Agent工作中。他的轨迹说明，一种方法论可以在同传、语音、多模态与智能体之间持续迁移，价值不局限于某个具体任务。房庆凯参与了LLaMA-Omni系列，之后加入小米参与MiMo-Audio，是计算所流式技术进入工业模型的典型案例。
马子阳是上海交大与南洋理工大学联合培养的博士生，在字节Seed实习期间完成LSLM，之后转向阿里通义的Qwen Omni。从emotion2vec到LSLM，再到音频推理Audio-CoT和细粒度音视频描述Omni-Captioner，他的工作恰好对应交互模型的演进逻辑——先听懂声音里的细粒度状态，再实现边听边说，最后把视觉和听觉放进同一个模型。这种能同时贯通原生双工与全模态两条主线的年轻研究者并不多见。
字节Seed则把原生全双工率先推到亿级用户规模。值得一提的是，Seeduplex与SeedRealtime最初来自两支轻量团队在不同工程直觉下的各自攻坚，而非自上而下的统一规划。这说明即便在大厂内部，关键突破也往往来自小团队在具体问题上的持续投入。
表1｜原生语音全双工
全模态阶段需要把文本、视觉、语音统一到同一个表征空间，这是以语言模型为核心的团队所擅长的。清华大学自然语言处理实验室（THUNLP）在大模型基础、预训练与评测上积累深厚，经由OpenBMB开源社区与面壁智能延伸到全模态交互。
胥博凯是这条线上的代表人物。他参与了MiniCPM-o系列、Omni-Flow、Listen-Write-Speak与双工评测，把全模态交互组织成可训练、可评测、可交付的工程闭环。从论文到可端侧部署的开源模型，要跨越权重工程、数据配方、量化推理与社区反馈一整条链路；开发者在真实设备上暴露的抢话误判、底噪误触、长对话失稳等问题，又反过来推动研究迭代。这类兼顾研究与交付的人才，在开源模型团队中尤为稀缺。
谢之非是一个典型的跨机构样本。他在清华大学就读期间与合作者开源了Mini-Omni系列，验证了让大模型直接流式发声的可行性；之后在南洋理工大学等机构继续研究，参与了推理与语音交错生成的Mini-Omni-Reasoner。这条轨迹体现了开源时代的技术扩散方式：关键进展不再只由单个实验室产出，而是通过个人开源项目、联合培养与跨机构合作快速扩散和迭代。
阿里通义的徐进推动了Qwen多代Omni模型与Omni-Captioner，把全模态感知与生成做成工业体系。他所在团队的方向侧重统一感知底座，与持续边听边说的实时架构形成互补。
表2｜全模态统一建模
持续推理与交互后训练这两条线，学术探索与工业落地结合得格外紧密。南洋理工大学语音实验室长期研究流式语音建模，并与多所国内高校保持联合培养关系，在人才网络中扮演中继站的角色。
NTU博士生吴东航参与的Chronological Thinking、Mind-Paced Speaking与The Silent Thought（FLAIR）构成一组连贯研究，分别回答倾听时如何思考、表达时如何推理、思考能否以隐式表征进行；FLAIR发表于ICML 2026，Chronological Thinking发表于SIGDIAL 2026。这组研究指向全双工最核心的矛盾之一：模型为了响应速度先开了口，后台的推理还在继续，如何保证后面说的话不和前面自相矛盾。
阶跃星辰的田飞是这组研究的合作者，也是阶跃语音路线的重要推动者。从Step-Audio-R1系列把强化学习引入语音，到StepAudio 2.5强化交互表现，再到DuplexSLA探索语音、语言与动作的同步，加上Step-Audio R1.1采用Mind-Paced Speaking架构，这条线体现了学术界提供推理范式、工业界提供算力与真实场景的合作方式。
同一方向上，胥博凯团队的Listen-Write-Speak从架构侧处理同一矛盾，谢之非与马子阳等人参与的Mini-Omni-Reasoner研究推理与语音的交错生成。这一方向决定了实时交互的上限——只有内部推理持续运转，模型才可能从反应敏捷的播报工具，变成支撑复杂任务的协作者。
表3｜持续推理
表4｜交互后训练
从组织层面看，几类机构的角色已经比较清楚。X-LANCE与ICTNLP这样的长期学术团队提供底层问题意识，并持续输出人才；NTU这样的联合培养枢纽把学术范式转化为可合作的研究；OpenBMB这样的开源社区让成果在真实设备上快速接受检验；大厂负责把能力推到大规模用户面前。学术到工程的路径也已清晰：计算所的流式语音进入小米MiMo-Audio，NTU与阶跃的Mind-Paced Speaking进入Step-Audio R1.1，清华相关研究经由OpenBMB与面壁成为端侧开源模型，字节Seed则把全双工推上亿级用户产品。全双工的发展并非单点突破的结果，而是学术研究、开源探索与工业工程在不同阶段互相借力、持续迭代的产物。
放到全球看，Thinking Machines Lab、OpenAI与Nuance Labs以基础模型为核心，自顶向下推进；上述高校与产业团队则更多依托开源、联合培养和快速产品化。两种路径在2026年几乎同时把实时交互推到台前，其中不少关键贡献者是活跃在不同机构之间的年轻华人研究者。真正重要的突破，未必只发生在参数规模最大的团队里；长期研究声音、时间、动态决策与推理的人，正从不同起点走向同一个前沿。
资本开始下注，真正的挑战才刚开始
这场技术变革，已经开始吸引全球顶尖研究者与资本的共同关注。
10月23日，海外知名AI科技观察者Kim Isenberg（X：@kimmonismus）发布了一组关于下一代实时交互的长推文。他在X上拥有超过15万关注者，关注者中包括Thinking Machines Lab创始人Mira Murati、联合创始人John Schulman，以及微软CEO Satya Nadella、NVIDIA研究科学家Jim Fan等科技行业重要人物。
值得注意的是，在这组讨论中，Kim将Thinking Machines Lab的Interaction Models、OpenAI的GPT-Live、美国初创公司Nuance Labs，以及一些中国团队的工作放在了同一条技术演进脉络中。这不仅是一次对技术进展的梳理，也折射出海外对中国原生全双工研究与创业生态的关注。
资本也已经开始下注。
2026年9月，美国初创公司Nuance Labs宣布完成5000万美元A轮融资，由Lightspeed领投，Accel、NVIDIA、South Park Commons等参与。其目标是构建能够同时理解语音、表情、视线与交互时机的原生全双工音视频基础模型。
这笔融资并不能证明路线已经成熟，但释放了清晰信号：实时交互正在从大模型产品中的一项功能，成为独立的基础模型研究与创业方向。
商业化也在加快。9月10日，OpenAI把GPT-Live-1开放到API，按每分钟0.05美元计费，并强调对电话场景语音Agent的支持。国内这边，字节跳动的Seeduplex与SeedRealtime已面向亿级用户运行；面壁智能的MiniCPM-o 4.5开源后上线了API；阶跃星辰在5月推出面向开发者的StepAudio 2.5 Realtime。从高校实验室、开源社区，到大厂产品与新创团队，相关技术正在快速走向真实应用场景。
Kim的评论区
Kim的评论区也勾勒出人们对下一代实时交互的期待：有人希望AI说到一半时就能接受纠正，有人追问一声“嗯”究竟是在思考、赞同还是叫停；讨论还延伸到Agent修改文件时用户改主意该保留什么、撤销什么，也有人担心，一只永不关闭的“耳朵”运行在别人的服务器上，用户是否愿意接受。
这些评论有期待也有质疑，却指向同一个变化，那就是人们不再只要求AI给出正确答案，而是期待它像协作者一样理解犹豫、接受纠正、判断时机。
这条路线仍处于早期，技术格局远未定型，新的研究范式、创业公司和年轻人才仍有机会改变竞争走向。
结语
如果只把全双工看作语音体验的升级，就会低估它的影响。它最先改变的是对话节奏，最终可能重塑的是Agent的工作方式。
今天的大多数Agent仍是“批处理”模式：用户下达指令，模型挂起，后台调用工具、完成推演，最后返回结果。中途想补一句、改个方向，往往只能等它停下或从头再来。这和全双工之前的语音助手如出一辙，交互是成块的，而不是连续的。
语音全双工的解题思路，与下一代Agent的挑战高度同构。两者都要在信息不完整时决定是否行动，就像同传判断何时开口；都要在对外执行的同时让内部推理继续推进；都要处理随时到来的打断与纠偏，判断已完成的工作哪些保留、哪些撤回；也都要在长时间交互中保持状态稳定，并把声音、画面与工具调用编排进统一的时间逻辑。
GPT-Live与Thinking Machines Lab的前台交互、后台执行的分工，已经让这种同构变得具体。9月，OpenAI把GPT-6 Astra接入ChatGPT Voice，用户可以用语音提出目标，由后台模型调用工具、操作软件完成任务。演示仍经过设计，不代表系统能在开放环境中稳定完成任意任务，但方向已经清晰。
这一设想由来已久。1987年，苹果的Knowledge Navigator概念视频中，一位教授用自然语音让虚拟助手检索资料、联系同事，并在过程中不断调整要求。今天的实时交互模型，第一次让它显得触手可及。
如果Agent真正获得顺滑、连续的交互能力，人机协作会从“提交任务、等待结果”转向“共同在场、持续校准”，信任将更多来自过程中的可干预，而不只是结果的正确率；软件界面可能随之改变，对话与观察成为操作软件的常规方式；手机、汽车、眼镜与机器人也会因持续感知而获得新的产品形态，同时对端侧计算、隐私与交互安全提出更高要求。团队的人才画像也会改写，竞争将从声学建模转向系统整合：连续流式建模、动态交互决策、快慢思考分工与低延迟调度，谁能把这些链路打通，谁就更有机会建立下一代实时交互系统的底座。
过去，我们用模型能解决多复杂的问题来衡量智能。未来，一个同样重要的维度，是模型能否在现实不断变化、信息永远不完整的情况下，始终保持感知、判断与行动的连续性。当模型不再需要等人类把世界描述完整才开始理解和行动，智能系统与现实世界的连接方式或许会因此改变。这场变化，才刚刚开始。
