你有没有想过，为什么让AI生成一段带声音的视频，比单独生成视频或者单独生成声音都难得多？
这不是一个抽象的问题。你去问任何一个做过多模态生成的研究者，他们大概率会告诉你：单独训练一个视频生成模型或者音频生成模型,现在已经不算特别难的事了。真正头疼的是,当你想让AI同时把画面和声音都做好,还要求这两者严丝合缝地对上,事情立刻变得棘手起来。
这篇来自上海人工智能实验室等机构的论文,讲的就是这个问题。他们发现,现有的联合音视频生成模型,哪怕已经做得相当不错了,依然会在三个地方掉链子:要么某一路模态本身质量不够好,要么生成的内容和文字描述对不上,要么画面和声音各自都还行,但凑在一起就是不同步,嘴型对不上话音,鼓点跟不上手部动作。这篇论文提出的方法叫AV-GRPO,它想解决的正是这个"各自还行,合起来不行"的老大难问题。
强化学习后训练,好用但是难用
先说说这篇论文选择的技术路线。
近几年,语言模型和图像生成领域都验证了一件事:预训练把模型的基础能力打好之后,用强化学习做后训练可以显著提升生成质量。
强化学习后训练*：指模型在预训练完成后,不再依赖人工标注的正确答案,而是通过一个打分系统（奖励模型）给生成结果评分,模型根据分数的高低调整自己的生成策略,分数高的结果被强化,分数低的被抑制。
这套思路听起来很美好,但把它直接搬到联合音视频生成上,论文作者发现有三个绕不开的坑。
第一个坑是奖励信号打架。想象你要评价一段带声音的视频,你得看画面清不清晰、声音好不好听、画面符不符合文字描述、声音符不符合文字描述,还得看声音和画面对不对得上。这么多指标混在一起,一个候选样本可能画面很棒但声音一般,另一个可能声音完美但同步差点意思,你根本没法说清楚"改进"到底应该往哪个方向使劲。更麻烦的是,同步性这个指标本身还有个隐藏陷阱:如果你拿一段画面很平稳、几乎没什么动作变化的视频去配声音,同步分数天然就容易打得高,因为对不上的机会都少;但如果画面里全是快速切换的动作,同步分数天然就难拿高分。这就导致同一个"同步得分"背后,可能藏着完全不同难度的题目,你没法公平比较。
第二个坑是训练成本和责任归属的问题。联合训练音视频两个模块,意味着你要同时给两边都做反向传播、都保留优化器状态,这个显存开销是双份的。更别扭的是,当你算出一个总的奖励信号,拿它去同时更新音频模块和视频模块的参数时,你其实不知道这次提升到底是音频做得好带来的,还是视频做得好带来的。两个模块在去噪过程的每一步都在互相影响,这种纠缠让"到底是谁的功劳"变成一笔糊涂账。
第三个坑是音频和视频这两个模态天生脾气不一样。它们的预训练能力不同、隐空间的数值尺度不同、对同一个奖励信号的敏感程度不同、学习速度也不同。如果你用同一套训练参数、同一个噪声强度去伺候两边,大概率会出现一边训练得正合适、另一边要么探索不够要么直接训崩的局面。
这三个坑摆在一起,你会发现问题的核心其实很简单:两个不同的东西,被硬绑在一起训练,谁都没法专心做好自己的事。
这就好比一家餐厅同时要求一个厨师和一个服务员共用一份绩效考核,考核标准是"顾客整体满意度"。顾客满意可能是因为菜做得好,也可能是因为服务态度好,但绩效表上只有一个总分,你压根分不清是谁的功劳,也没法针对性地告诉厨师"你要多练刀工"还是告诉服务员"你要笑得更多点"。如果不把两人的考核拆开,这家餐厅永远没法精准地培训任何一个人,只能笼统地说"整体还需要提高"。
拆开来练：AV-GRPO的核心思路
AV-GRPO给出的解法,说白了就是四个字:一次一个。
具体来说,论文提出了一种交替训练的机制:训练过程被切成两个阶段轮流进行。在"音频锚定"阶段,先固定住一条完整的音频生成轨迹,只让视频模块去自由采样、探索、优化;在"视频锚定"阶段反过来,固定住视频,只优化音频。这两个阶段每隔固定的训练步数就切换一次。
GRPO*：全称Group Relative Policy Optimization,一种强化学习优化算法,核心思路是让模型针对同一个输入采样出一组不同的候选结果,通过组内比较（谁比组里其他候选更好）来计算每个候选的相对优势,再据此调整模型参数,不需要额外训练一个价值网络。
Flow-GRPO*：把GRPO这套思路应用到扩散模型/流匹配模型上的方法。原本扩散模型的采样过程是确定性的（同样的初始噪声永远生成同样的结果）,这样没法产生"不同候选"来做组内比较。Flow-GRPO把确定性的采样过程改造成带随机扰动的过程,让同一个起点也能采样出不同的结果,同时保证这种改造不会破坏模型原本学到的生成分布。
理解了这两个背景概念,AV-GRPO的设计思路就清晰了很多。既然联合训练会让奖励信号纠缠不清,那干脆把"合唱"拆成"轮流独唱":每一轮只有一个模块在真正学习,另一个模块提供一个固定不变的参照条件。
这带来了一个直接的好处。当你固定住音频、只让视频采样一组候选时,这一组视频候选面对的"同步性评判标准"是完全一样的,因为它们配的是同一段音频。这时候如果A视频的同步得分比B视频高,你能确信这纯粹是因为A视频本身生成得更贴合音频节奏,而不是因为A视频运气好配到了一段更容易同步的音频。论文里把这个操作叫做"锚定奖励在组内被抵消",因为固定不变的那部分奖励在做组内标准化的时候会自动抵消掉,剩下的只是目标模态自己的质量、和文本的贴合度,再加上和锚定对象的同步性,这三样东西的比较才是干净的。
这里有个细节值得多说一句:锚定用的不是简单地固定住最终生成的音频或视频文件,而是固定住整条完整的去噪轨迹,也就是从纯噪声一步步去噪到最终结果的每一个中间状态都被锁定。为什么要锁这么彻底?因为音频塔和视频塔在每一步去噪过程中都会通过跨模态注意力机制互相看一眼对方现在长什么样。如果你只固定最后的结果,不固定中间过程,那中间那些互相"打招呼"的信息其实是不可控的,两边还是会在中间过程里互相干扰。只有把整条轨迹锁死,才能真正做到"这一路上,锚定的那个模态从头到尾都没变过"。
这就像你要教两个孩子一起跳双人舞,如果两人同时自由发挥,你很难说清楚这段舞跳得好不好是谁的功劳。于是你决定:这一周,姐姐按照上周录好的完整舞蹈动作（每一个转身、每一个节拍都固定）来跳,弟弟在这个固定的参照下反复练习配合;下一周反过来,弟弟的动作全程录像固定,姐姐来适应。如果你不把"参照对象的动作全程锁死",只是说"姐姐这周整体表现比较稳定就行",弟弟练习的时候姐姐还是会临场发挥些小动作,弟弟就永远没法在一个真正稳定的靶子上打磨自己的配合能力。全程锁定,才能让弟弟的每一次进步都清清楚楚地是他自己练出来的。
除了拆分训练目标,AV-GRPO还做了另一件事:训练成本的优化。既然锚定模态在这一阶段不需要学习,那它的参数就直接冻结,不需要反向传播,也不需要维护优化器状态。这直接省下了一半的显存开销。论文里提到,正是靠着这个冻结机制,他们才能在8张NVIDIA A800显卡上完成对220亿参数的LTX-2.3模型的全参数微调,这在计算资源有限的情况下是个相当实际的收益。
最后一个设计,是承认音频和视频真的不是一回事,给它们各自配上量身定制的训练参数。论文里给视频塔用的噪声强度系数是0.02,给音频塔用的是0.8,差了整整40倍。作者观察到,如果直接套用原本Flow-GRPO的目标函数,视频塔训练几轮之后会出现"过曝"的问题,尤其是在控制亮度和细节的后期去噪阶段,梯度信号变得很弱,单纯调整KL散度的系数解决不了这个问题。他们借鉴了另一项工作LongCat-Video的做法,给视频塔的策略损失和KL散度项都加上了随时间步变化的权重函数,专门针对后期去噪阶段做了信号增强。
KL散度*：一种衡量两个概率分布差异程度的数学指标,在强化学习后训练里常被用作正则项,防止模型在追求高奖励的过程中"跑偏"太远,忘记了预训练阶段学到的东西。
数据集也要拆着造：5DAV的五个维度
光有训练方法还不够,论文作者意识到,如果训练数据本身就是一锅乱炖,再精巧的训练框架也发挥不出应有的效果。
于是他们造了一个叫5DAV的训练数据集,核心思路和训练方法一以贯之:拆开维度,分别控制难度。这个数据集沿着五个独立的维度构建:语义层级（单个物体的固有声音、静态场景的背景氛围、还是多个实体间的动态因果事件）、声源类型（人声、环境音效、音乐、混合声源）、同步难度（音画完全无关、类别匹配、逐帧对齐、还是物理因果性的同步比如火车靠近时音调升高）、时序复杂度（单一场景没有转场,还是多场景有因果转折）、指令粒度（只描述核心语义,还是要求精确到时间点、空间位置、音量音高变化的强约束描述）。
这五个维度两两组合,形成288个正交类别,每类生成20条提示词,总共5760条训练样本。
这个设计的巧妙之处在于,它让训练数据的"配方"变成可调节的。研究者可以根据某个阶段模型的短板,有针对性地调整某个维度里各难度类别的采样比例,比如发现模型在物理因果同步上表现差,就多喂一些这类样本进去训练。这跟随便找一个现成的音视频数据集堆上去训练,完全是两种做法。
论文里做了一个对比实验,拿5DAV和另一个知名的音视频数据集VGGSound做全参数微调的对照,结果显示用5DAV训练出来的模型在各项指标上普遍表现更好。他们还专门测试了拿掉同步难度维度里最简单或最难的类别、拿掉指令粒度维度里最简单或最难的类别会发生什么,结果发现去掉这些难度层级会造成明显的性能下滑,证明这些精心设计的难度分层不是摆设,而是真的在给模型提供不一样的学习信号。
这就像健身房里的分级训练计划。如果你只是笼统地告诉一个新手"多做几组俯卧撑就行了",他可能永远卡在某个平台期,因为他不知道自己缺的是核心力量还是手臂力量还是耐力。但如果教练把训练拆成五个维度,分别测试力量、耐力、柔韧性、协调性、爆发力,并且在每个维度里都设计从入门到高阶的层级,教练就能精确地发现"这个人耐力过关,但爆发力明显不足",然后专门增加爆发力训练的比重。5DAV数据集干的就是这件事,只不过练的对象是一个生成模型。
数据说话：AV-GRPO到底提升了多少
论文在两个评测基准上验证了这套方法,一个是JavisBench,一个是VABench。
JavisBench*：一个专门评估联合音视频生成质量的基准测试集,从四个维度打分:单模态生成的保真度（视频质量、音频质量）、文本模态对齐度（用ImageBind相似度、CLIP得分、CLAP得分衡量文字描述和生成内容的贴合程度）、音视频语义一致性、音视频同步性（用JavisScore和DeSync两个指标衡量时间上的对应关系）。
CLIP*、CLAP*：两个跨模态对比学习模型,CLIP衡量图像/视频和文字之间的语义相似度,CLAP是CLIP在音频领域的对应版本,衡量声音和文字描述之间的贴合程度。得分越高说明生成内容越符合文字描述。
拿这套方法和基线模型LTX-2.3以及另一个对比方法GDPO比较,结果相当亮眼。在音频质量上,全参数微调版本把JavisBench上的AQ指标从5.097提升到5.798,VABench上的音频美学得分从3.319提升到3.631。在语义对齐上,CLAP得分从0.408提升到0.468,提升幅度接近15%。在跨模态一致性和同步性上,提升更明显:DeSync指标（数值越低越好,代表音画错位程度越小）从原来的0.757降到0.607,JavisScore从0.183提升到0.222。
GDPO*：一种通过对多个奖励指标分别做组内标准化再聚合的强化学习优化方法,是这篇论文的主要对比对象之一,但它没有解决音视频两个模态同时变化时的责任归属问题。
值得一提的是,LoRA微调和全参数微调这两种训练方式各有所长,不是全参数微调在所有指标上都碾压LoRA。比如LoRA版本的CLIP得分（0.330）反而比全参数版本（0.327）略高,DeSync指标LoRA版本（0.554）也比全参数版本（0.607）更低。这说明不同的训练规模和策略在不同维度上确实有取舍,并不存在一个全方位无死角的最优解。这一点论文作者也坦诚地在文中承认了,没有回避这些"不完美"的结果。
作者还专门做了一个消融实验,测试交替训练的切换间隔到底设成多少最合适,对比了不切换、每2步切换、每4步切换、每8步切换四种设定。结果显示每4步切换一次能取得相对最优的整体平衡,这也是论文最终采用的配置。
从证明题到工程题：数学上站得住脚
这篇论文有意思的地方在于,它不只是靠实验数据说话,还专门用了一大段附录去做严格的数学证明,论证这套"分模态交替优化"的做法,理论上确实能收敛到和联合优化一样的最优解,而不是一个凑合的折中方案。
简单说,作者构造了一个共同的参考联合分布,并且证明在满足一定的收缩条件下（论文里叫Dobrushin收缩条件,意思是两个条件核函数各自的收缩系数相乘要小于1）,交替进行的条件优化最终会收敛到和整体联合优化完全一致的唯一最优分布,而且这个收敛速度是几何级的,也就是说收敛得相当快,不会拖泥带水。
这一段证明的价值在于,它回应了一个很自然的质疑:你把联合优化问题硬拆成两个各自为战的小问题,会不会最后练出来的结果是各自达标但整体不是全局最优?论文给出的答案是不会,只要满足一定条件,分开练最后依然能收敛到和一起练同一个终点。
自适应噪声裁剪：一个不起眼但重要的补丁
论文里还有一个小设计值得提一下,叫自适应噪声裁剪。
在Flow-GRPO那套随机采样机制里,有个噪声系数会在接近初始时刻（也就是t接近1,几乎全是噪声的阶段）快速增大。作者发现,在他们用的15步这种比较粗的采样网格下,这个快速增大的噪声系数有时候会大到把原本的信号完全淹没,导致训练不稳定。
他们的解决方案是给这个噪声系数设一个动态的上限,当它快要超过某个阈值的时候就按比例缩小,既保留了随机探索的能力,又不至于让噪声完全压过信号。这个补丁听起来很小,但作者提到正是靠着它,才能在更大的噪声强度下依然保持训练稳定,这对音频塔尤其重要,因为音频塔用的噪声强度系数（0.8）比视频塔（0.02）大了整整40倍。
这就像给一辆车的油门装了个限速器。如果不装这个限速器,司机在下坡路段一脚油门下去,车速可能瞬间飙到失控的地步。限速器不是不让你加速,而是在速度快要突破安全阈值的时候自动收一点力度,让车既能跑得快,又不至于翻车。噪声裁剪对训练稳定性的作用,大致就是这个道理。
写在后面
读完这篇论文,让我印象最深的其实不是那些提升的百分比数字,而是作者处理"责任归属"这个问题的方式。
很多多模态研究习惯于把两个模态揉在一起当成一个整体去优化,觉得反正最后要生成的是一个统一的输出,分开处理反而破坏了整体性。但这篇论文提醒我们一件事:一体化的生成结果,不代表一体化的训练方式是最优解。有时候,把耦合在一起的问题拆解成条件化的子问题,反而能让每个子问题的优化目标变得清晰,进而让整体的优化效果更好。这种"先拆再合"的思路,在很多工程领域其实都不新鲜,但在音视频生成这个具体场景里,把它做扎实、做出数学证明、还配上专门设计的分层数据集,是需要相当细致的工程耐心的。
另一个让我多想了一层的地方是那个关于同步性评判难度不均衡的观察。这个问题看起来很小,一个稳定场景配声音天然更容易对齐,一个快速变化的场景配声音天然更难对齐,但如果你不特意去控制这个变量,你的整个奖励系统可能在悄悄给"运气好碰到简单场景"的样本发奖励,而不是真正奖励"同步能力强"的样本。这种隐藏在评测指标里的偏差,其实在很多其他强化学习场景里都可能存在,只是没有被明确点出来过。
论文最后也没有回避自己的局限,LoRA和全参数微调各有优劣,某些指标在特定训练方式下反而略有下降。这种坦诚也是我觉得值得肯定的地方,毕竟一个方法如果宣称在所有维度上都完美无缺,反而更值得怀疑。
如果音频和视频未来还要接入更多的模态,比如文字字幕、动作捕捉数据,这套"锚定一个、优化另一个"的思路是不是还能继续往下拆?三个模态、四个模态的时候,要锚定几个、优化几个,又该怎么设计?这大概是留给后来者的一道题。
Q&A
Q1：AV-GRPO是什么？
A：AV-GRPO是一种针对联合音视频生成模型的强化学习后训练框架,核心做法是交替锚定音频或视频其中一个模态,只优化另一个模态,从而拆解奖励信号纠缠、降低训练成本、并针对不同模态设置专属的优化参数。
Q2：5DAV数据集有什么特别之处？
A：5DAV是一个沿五个独立维度构建的训练数据集,包括语义层级、声源类型、同步难度、时序复杂度和指令粒度,通过五维正交组合形成288个类别共5760条样本,可以根据训练需要灵活调整各难度类别的比例。
Q3：AV-GRPO和之前的GDPO方法相比提升了多少？
A：在JavisBench上,AV-GRPO全参数微调版本将音视频同步指标DeSync从GDPO的0.708降到0.607,JavisScore从0.202提升到0.222,VABench上的唇音同步得分也从1.439提升到1.646,整体提升幅度明显。
