你有没有玩过那种让人起鸡皮疙瘩的沉浸式游戏体验，画面精美到让人忘记呼吸，但耳朵里却只有背景音乐在循环播放，没有脚步声,没有风声,没有任何能告诉你"这是真实世界"的细碎声响？
这不是夸张。
2024年到2025年之间，AI生成视频技术突飞猛进，世界模型这个概念火了起来。所谓世界模型，简单说就是一种能根据你的操作实时生成虚拟环境画面的AI系统,你往前走它就生成前方的场景，你转身它就渲染出转身后看到的画面，像一个会无限创造场景的虚拟引擎。
但这些世界模型有个共同的尴尬：它们是哑巴。
画面可以无限生成，声音却始终缺席。这就好比你拥有了一台能瞬间变出任何房间的魔法相机,但房间里永远死寂无声,风扇转动没有嗡嗡声,门开了没有吱呀声,这种诡异的安静反而会让人更快意识到自己在一个假的世界里。
这篇来自香港科技大学、Noiz AI等机构联合发布的论文,题目就叫《WorldSonus:给世界带来声音》,试图解决的正是这个问题。
声音生成,到底难在哪
想给世界模型配上声音，听起来好像只是加一个音频生成模块的事，但实际操作起来，有三座大山挡在路上。
第一座山是实时性。
世界模型是交互式的，你的操作会实时触发画面变化，声音必须跟画面严丝合缝地同步生成，不能有延迟,如果你拔了把剑画面立刻给出挥剑动作,但剑风声却慢了半秒才响,这种割裂感会瞬间打破沉浸感。
第二座山是交互控制。
真实的使用场景里，用户可能会随时想要调整声音效果，比如游戏进行到一半，你突然想让环境音从"安静森林"切换成"暴风雨将至",这个指令不能要求整个会话重新开始，必须能在不中断已有生成流程的情况下无缝切入。
第三座山是空间感。
一个真实的声音场应该有方向性,左边有车经过，声音应该偏向左耳；镜头转向右边的瀑布，水声应该随之偏向右耳。这种立体声的空间对齐，需要声音生成系统理解摄像机的运动和场景的几何结构，而不是简单地往左右声道各塞一份一样的声音。
在WorldSonus出现之前，已经有一些团队尝试过类似方向，但都有明显短板。V-AURA这个模型用自回归方式逐帧预测声音，但它只能输出单声道，没有立体声空间感；SoundReactor实现了实时的立体声生成，但不支持中途修改文字指令；还有专门针对全景视频的SwanSphere，但它面对的是360度环绕画面，而不是我们日常接触的标准视角视频。
这就像三个厨师各自掌握了一道菜的某个诀窍，但没有人能把色香味同时做到位。WorldSonus想做的，就是把这三样本领融进同一个系统里。
流式生成：边看边听，不等齐全
WorldSonus的核心设计理念是一种叫做因果自回归扩散架构的东西。
因果自回归扩散*：这是一种生成方式，模型在产生当前这段音频时，只能参考过去已经发生的内容和当前这一刻的画面，完全看不到未来的信息,就像你一边看直播一边配音解说，你没法提前知道下一秒会发生什么。
这个"因果"二字非常关键。传统的音频生成模型大多是双向的，也就是说它们在生成某一秒的声音时，可以同时看到这一秒之前和之后的画面内容，这样当然更容易做出准确又流畅的声音，因为"剧透"了未来。但世界模型是实时交互的，画面是一帧一帧地刚被生成出来，根本不存在"未来的画面"可以参考。
WorldSonus把音频生成切成一个个100毫秒的小块（chunk），每次只处理这100毫秒对应的3帧视频画面，生成对应的3帧音频潜变量，然后立刻吐出来，不等待整段视频生成完毕。
这就像现场同声传译和录播字幕的区别。录播字幕的翻译可以先看完整段讲话再慢慢打磨措辞，效果当然更精准；而同声传译员必须一边听一边说，经常要在说话人话还没说完的时候就开始翻译，靠经验和语境预判接下来大概要说什么。如果同传员非要等说话人说完整句才开口，那场面肯定是灾难性的，每句话都要延迟好几秒，整个会议节奏全乱。WorldSonus选择的就是这种"同传"策略，哪怕这意味着它永远无法像双向模型那样"看完全部再决定"，但换来的是真正的实时响应能力。
为了让这个流式系统不至于随着时间推移越跑越卡、内存爆炸，WorldSonus用了一个叫Ring-KV缓存的机制。
Ring-KV缓存*：一种环形的"记忆缓冲区"，容量固定（这里设定为5秒，相当于50个音频块），新信息进来时会自动覆盖最老的信息，确保内存占用始终恒定，不会随着生成时间越长就越占资源。
想象你有一个只能装5张便利贴的留言板，新便利贴来了就把最旧的那张撕掉贴上新的。无论你用这个留言板记录多久，它永远只占用贴5张纸的空间。这种设计放在实际部署里特别重要,如果不这样设计，让模型无限制地累积历史记忆，那连续运行几分钟后内存可能就会撑爆，这在真实的游戏或虚拟世界场景里是不可接受的，用户不可能忍受系统运行到一半突然卡死重启。
实测下来，WorldSonus每生成100毫秒的音频块，只需要41.2毫秒的计算时间，这个数字叫做实时因子（RTF）,0.41的RTF意味着生成速度比实际播放速度快了一倍多，完全跟得上实时交互的节奏。
两种尺度看画面：既要大局观，也要细节
光有流式架构还不够，因为纯因果的方式天生有个劣势：没法看到未来的画面，音画同步会变得非常吃力。
举个例子，如果一个爆炸的视觉特效要在第3帧才真正炸开，但模型在第1帧就得开始酝酿声音，那它怎么判断声音应该什么时候真正响起来？传统的双向模型可以提前"剧透"看到第3帧，但因果模型做不到这一点。
WorldSonus的解法叫两时间尺度视觉条件化。
两时间尺度视觉条件化*：把视觉信息拆成两条线索同时喂给模型，一条是粗粒度的"块级语义"信息，用来维持长时间的叙事连贯性；另一条是细粒度的"帧级局部特征"，专门捕捉精确的时间和空间细节。
具体来说，每个100毫秒的视频块里有3帧画面，WorldSonus会用一个叫DINOv3的视觉编码器把每一帧转换成特征表示。
DINOv3*：一种预训练好的图像理解模型，能把图片转化成计算机容易处理的特征向量，这里被冻结参数直接拿来用，不参与训练。
这3帧特征会被汇聚成一个"块级摘要"token，送进负责长期记忆的自回归骨干网络；同时，这3帧更细粒度的特征会直接绕过骨干网络，送进负责生成实际波形的扩散头（flow head）。
这个设计特别像公司里管理层和执行层的分工。CEO不需要知道每个员工具体今天敲了哪几行代码，他只需要知道"这个季度产品大方向是对的"；而真正写代码的工程师才需要盯着每一个具体的bug细节。如果让CEO事事亲自过问每一行代码，公司效率会直接崩溃；但如果完全不让CEO知道大方向，公司又会在细枝末节里迷失。WorldSonus把"维持剧情连贯"这个大局观任务交给自回归骨干，把"卡准每一帧的声音细节"这个精细任务交给扩散头，两条线各管一段，互不耽误。
论文里的消融实验证实了这个设计的价值：如果去掉这条直通扩散头的视觉快捷通道，只让画面信息经过自回归网络再传递，音频质量会断崖式下跌,FAD指标（一种衡量生成音频与真实音频分布差异的指标，数值越小越好）从2.42飙升到15.82，几乎是直接报废。这说明细粒度的即时视觉线索，对保证声音的清晰度和同步性是不可替代的。
教师指导下的默契：ShiftNCE怎么让声音踩准点
即便有了两时间尺度的视觉信息，因果模型在时间同步这件事上依然天生吃亏，因为它永远看不到未来帧。
WorldSonus想出的办法挺巧妙：在训练阶段引入一个"老师"，但推理的时候完全不用它。
这个老师叫Synchformer。
Synchformer*：一种专门评估音画同步程度的模型，输入一小段640毫秒的视频窗口，输出一组能反映同步状态的特征表示。
训练时，WorldSonus让自己内部的隐藏状态去学习模仿Synchformer输出的目标特征，但不是简单地直接拷贝，而是用一种叫ShiftNCE的对比学习目标。
ShiftNCE*：一种训练目标，让模型学会把"正确时间对齐的声音特征"和"被人为挪移了时间的声音特征"区分开来,简单说就是教模型分辨"这个声音踩在点上"还是"这个声音慢了半拍或快了半拍"。
具体操作是，针对某个时间点t，老师模型给出的目标特征是St，同时还准备了几个人为错位的候选特征，比如St往前挪一帧、往后挪两帧、往后挪四帧等等。模型需要学会让自己的预测更接近St，而远离这些挪位后的错误候选。
这个过程特别像学钢琴时节拍器训练。节拍器"滴滴滴"地打着标准节奏，你弹的时候耳朵得时刻比对"我这个音符是不是正好落在节拍点上，还是抢了半拍、拖了半拍"。久而久之，哪怕拿掉节拍器，你弹琴的节奏感也会内化成本能,不用每次都靠外部工具纠正了。ShiftNCE就是这个节拍器，它只在训练阶段响个不停，推理阶段完全撤走，不增加任何额外的计算延迟，但模型已经把"卡点"这个本能学到了骨子里。
消融实验的数据很有说服力：去掉ShiftNCE之后，DeSync指标（衡量音画时间错位程度，数值越小越同步）从0.831恶化到1.067；而如果换成在推理时直接接入640毫秒的Synchformer特征，效果反而更差，可能是因为640毫秒的特征窗口和WorldSonus 100毫秒的流式节奏对不上拍子，强行嫁接只会水土不服。
立体声从哪来：数据的筛选和改造
说完架构，再说说数据。毕竟再好的模型架构，没有干净的训练数据也是巧妇难为无米之炊。
WorldSonus的训练数据总共1465小时音频，其中999小时是带立体声的视频音频配对数据，466小时是纯音频数据。
有意思的是，立体声数据的来源五花八门。一部分来自VGGSound、AudioSet这类开源的真实世界视频音频数据集；一部分是团队自己收集的、带有明显摄像机运动和动态物体的交互式场景视频；还有一部分来自全景录音数据集Sphere360和YT-AmbiGen。
全景数据这块处理方式比较特别。全景录音通常用一种叫FOA（一阶环绕立体声）的格式记录声场信息，但世界模型需要的是标准视角下的立体声，所以WorldSonus做了一步转换：先从声场的能量分布估算出声音的主要方向，然后截取对应方向的透视视角画面，再把声场旋转对齐，解码成左右声道的立体声。
这个过程类似把一张360度全景照片截取出你想要的某个角度，同时还要确保截取出来的声音也跟着这个角度转过来。如果不做这种对齐，截出来的画面可能是左边有车经过，但声音却还是均匀地分布在左右声道，画面和声音完全脱节。
数据筛选用了两道关卡。第一道是自动化信号处理，专门揪出静音片段、相位损坏的音频、立体声分离太窄的样本，还有左右声道完全一样的"伪立体声"（俗称双单声道）。第二道是用Qwen3-Omni这个多模态大模型当裁判，筛掉那些画面和声音严重不匹配的样本，以及画外配音、背景音乐这类"非场景内在"的声音。
Qwen3-Omni*：一个能同时理解视频、音频、文本的多模态大模型，这里被用来给数据质量打分和生成文字描述。
字幕生成这一步也值得一提。团队没有让AI随便描述画面，而是刻意要求生成的文字描述只聚焦声音相关的信息,声音种类、质感、时间点、空间氛围，刻意排除画面里跟声音无关的视觉细节。这个设计是为了避免模型被无关的视觉线索干扰，专心致志学"什么样的画面对应什么样的声音"。
实验结果：数字说话
理论说再多，终究要看实际效果。WorldSonus在五个测试集上和几个主流模型进行了对比，包括双向模型AudioX、ThinkSound、PrismAudio，以及流式单声道模型V-AURA。
下面这组数据来自论文的核心实验表格（节选关键指标）：
在VGGSound 5秒测试集上，WorldSonus的FAD分数是1.73，优于AudioX的3.00、ThinkSound的2.94，仅略逊于PrismAudio的2.09但差距很小；在交互式视频30秒测试集上，WorldSonus的FAD是2.03，远远超过所有双向模型（AudioX 5.52、ThinkSound 7.00、PrismAudio 6.08）。
更关键的是，这些成绩是在WorldSonus完全看不到未来画面、每100毫秒就要吐出一段声音的苛刻条件下取得的，而对比的双向模型可以提前看完整段视频再慢悠悠生成。这就好比一场拳击比赛，对手戴着望远镜能提前看到你下一拳要往哪打，而WorldSonus全程蒙着眼睛凭感觉应战，结果却打得不比对方差，有些场次甚至打得更好。
立体声空间感方面，论文设计了一个叫BiasSkill的指标，专门衡量生成音频的左右声道偏向是否和真实参考音频一致。WorldSonus在VGGSound 10秒测试集上拿到4.42%的分数,这个数字看起来不大，但要知道它是相对于一个"随机猜测基线"的提升幅度，而其他对比模型里有的甚至是负数（意味着比随机猜还差）。在交互式30秒测试集上，WorldSonus的BiasSkill达到15.90%，是所有对比模型里断层式的领先。
主观听感测试也很能说明问题。研究团队找了20位评测者对40个代表性片段做了400次成对盲测比较，WorldSonus在整体偏好度上以58.8%对AudioX、80.0%对ThinkSound、65.0%对PrismAudio的比例获胜，仅次于真实录音本身。
交互控制能力的验证同样有意思。论文设计了一个"反事实干预"实验：给同一段视频两种处理方式，一种是在5秒处真正切换文字指令（Switch），另一种是全程保持第一个指令不变（Hold），对比两种情况下第二个5秒片段对新指令的响应程度差异。结果显示，这个差异（论文称为干预增益G）在VGGSound上是0.051，在交互式视频上是0.053，而且置信区间都明确排除了零,这证明WorldSonus确实能对中途修改的文字指令产生真实的声音变化，而不是单纯因为画面本身在变化导致声音也跟着变。
长时间运行的稳定性也是个关键问题。毕竟如果一个模型跑久了声音质量会慢慢崩坏，那实用性就大打折扣。论文对比了"直接生成最后5秒"和"连续跑完30秒再截取最后5秒"两种方式，发现两者在FAD、DeSync等指标上差异很小（FAD分别是2.63和2.51），说明WorldSonus在有限内存缓存下确实能做到长时间稳定运行,不会一跑久了就"崩人设"。
局限和未来
论文也坦诚地提到了两个还没解决的问题。
一个是音频编码器本身的质量瓶颈。WorldSonus用的是一个冻结参数的因果立体声VAE（变分自编码器，一种把音频压缩成紧凑表示再还原的技术），这个编码器借自SoundReactor项目，但SoundReactor自己的论文就提到，因果版本的解码器重建质量不如非因果版本。这意味着WorldSonus目前的音质上限，部分受制于这个底层编码器的能力，未来需要更强大的因果音频编码技术来突破这个瓶颈。
另一个是立体声数据规模的问题。相比海量的单声道音频数据，高质量的立体声数据依然稀缺，而且很多公开的立体声视频里，左右声道的分离其实是人工制造的，并不真实反映画面里物体的实际运动,这就好比有些老电影的立体声效果是后期硬加上去的，声音方向和画面根本对不上。扩大真实可信的立体声数据规模，仍是接下来要啃的硬骨头。
写在后面
读这篇论文的过程中，有个细节让我反复琢磨：ShiftNCE这个设计的精妙之处，不在于它用了什么复杂的数学技巧，而在于它想明白了一件事,有些能力可以只存在于训练阶段，推理时完全不需要付出代价。
这其实是一个挺反直觉的思路。我们通常会觉得，如果一个模型需要"参考老师的意见"才能表现得更同步，那推理时肯定也得带着这个老师一起跑。但WorldSonus证明了，只要训练阶段把这种对齐能力真正"内化"进了模型的参数里，推理时就可以把老师完全撇开，轻装上阵。这种"训练时加负重、推理时轻装"的思路，其实在很多场景里都有迁移价值,运动员平时负重训练，比赛时反而卸掉所有负重去追求最快速度。
另一个让我意外的点是，这篇论文处理全景音频数据转标准立体声的那个方法,从声场能量分布反推主导声音方向，再截取对应视角画面重新渲染立体声。这个思路听起来简单，但背后其实是在"创造"一种原本不存在的训练数据,用全景数据硬生生"合成"出带视角对齐的立体声样本。这种从已有资源里巧妙拼接出稀缺资源的做法，某种程度上比直接采集真实数据更考验研究者的巧思。
如果世界模型真的要走向大规模的商业化应用，比如游戏、虚拟社交、沉浸式教育，那声音这一环迟早要补上。而这篇论文给出的答案不是"等更大的模型、更多的数据自然解决"，而是具体拆解了实时性、交互性、空间感这三个具体工程问题，并各自给出了可验证的解法。这种务实的拆解思路，或许比单纯堆算力更值得关注。
那么下一个问题是，当声音和画面都能实时生成之后，触觉呢？
Q&A
Q1：WorldSonus是什么？
A：WorldSonus是一个为交互式世界模型设计的实时音频生成框架，能根据流式视频画面同步生成具有空间感的立体声音频，支持中途修改文字指令，整体延迟极低。
Q2：WorldSonus和其他视频转音频模型有什么不同？
A：现有的音频生成模型大多是双向的，需要看完整段视频才能生成声音，而WorldSonus采用因果流式架构，只看过去和当前画面就能实时生成100毫秒级的音频块，同时还支持立体声空间对齐和中途指令切换，这三点同时满足是它的独特之处。
Q3：WorldSonus生成声音的速度能跟上实时交互吗？
A：可以。WorldSonus每生成100毫秒的音频只需要41.2毫秒计算时间，实时因子只有0.41，在单张H100显卡上完全能满足实时交互的速度要求。
