Token导航 LogoToken导航

AI 资讯 · 科技行者

单条视频训练出更强视频生成模型 VBench 84.22

更新 2026-11-18科技行者正文 5917字阅读约 19分钟

训练一个能实时生成视频的AI模型,通常需要花费数万个GPU小时,存储上T级别的数据。但这篇论文做了一件听起来有点冒险的事:他们把训练数据砍到只剩一条视频,然后发现模型效果不但没崩,反而比用了几千条数据训练出来的老方法还要好。

这不是在吹牛,论文里给出的数字是:只用一条样本训练的模型,VBench总分达到84.22,而用了25000条样本训练的强力基线方法Causal Forcing只有84.04分。训练成本从几千个GPU小时压缩到大约一个A100 GPU小时,数据存储需求减少了约99%。

这听起来有点反直觉。深度学习领域的常识是数据越多越好,尤其是视频生成这种需要捕捉复杂时空规律的任务,大家默认必须靠海量数据堆出效果。但这篇论文告诉我们,至少在某个特定环节,数据量根本不是瓶颈,瓶颈在别的地方。

视频AI生成的现状:又慢又贵

先说说背景。现在主流的视频生成模型,比如Sora、Wan、Seedance,用的是一种叫

扩散模型*:一种通过逐步给数据加噪声、再学习逆向去噪的方式生成图像或视频的AI技术,训练时让模型学会"从随机噪声里一步步还原出清晰画面"。

的技术。这类模型效果惊艳,但有个硬伤:生成视频时要对整段内容做全局计算,视频越长,计算量涨得越猛,根本没法做到实时响应。

于是研究者们搞出了

自回归生成*:让模型像写文章一样一帧接一帧(或一段接一段)地生成内容,每一步只依赖前面已经生成的部分,这样就能支持实时流式输出。

这种方式更适合做实时交互式视频生成,比如你和一个AI世界模型实时对话互动,它需要边生成边响应,不能等整段视频算完才给你看。

但问题来了:怎么把一个训练好的双向扩散大模型,改造成一个又快又准的自回归模型?目前业界的标准做法是用

PF-ODE轨迹*:Probability Flow ODE的缩写,指的是扩散模型去噪过程中,数据从噪声状态逐步变回清晰状态所经过的一条确定性路径,可以理解成"降噪过程的详细路线图"。

来做监督训练,让一个"学生"模型模仿"老师"模型(原始大模型)生成视频的完整轨迹。但构建和存储这些轨迹,在大规模数据集上做,就是前面说的那种天价成本。

这就好比你要教一个新司机开车,不是让他看几个关键路口怎么转弯就行,而是要把每一秒钟方向盘转了几度、油门踩了多深,全程录下来给他学。数据量一旦铺开到几千条路线,录像带堆满仓库,存储和回放的成本自然爆炸。

问题出在哪:一条数据为什么会"压垮"模型

研究团队一开始也走了"减少数据"这条路,想着能不能少花点钱构建轨迹。于是他们把训练数据从几千条砍到只剩一条,结果却是灾难性的。

论文的图2显示,无论是用

Self Forcing*:一种自回归视频扩散训练方法,让模型基于自己生成的内容继续训练,缓解训练和实际使用时的不一致问题。

还是

Causal Forcing*:Self Forcing的改进版,用自回归老师模型来初始化训练路径,解决了全局注意力和因果注意力之间的结构差异问题。

这两种现有方法,一旦把训练样本砍到一条,VBench分数都出现了断崖式下跌:Self Forcing从69.48掉到51.23,Causal Forcing从82.01掉到66.84,分别跌了18个点和15个点以上。

这说明什么?说明简单粗暴地砍数据是行不通的,必须搞清楚一条数据到底能提供什么、不能提供什么。研究者于是回过头去分析扩散过程本身的几何结构,这一查就查出了问题的根源。

他们发现,整个去噪轨迹(也就是从纯噪声一步步变成清晰视频的过程)里,92.5%以上的

轨迹曲率*:描述去噪路径弯曲程度的指标,曲率越大说明这段路径越不是直线,模型越难用简单的方式去拟合。

都集中在高噪声阶段(也就是刚开始去噪、画面还很模糊的那几步)。而低噪声阶段(接近完成、在修细节的那几步)轨迹则相对平直得多。

更关键的是,论文进一步测量了训练损失曲线,发现高噪声区域和低噪声区域的优化行为差异巨大,如图2(c)所示。高噪声阶段的损失曲线波动剧烈,低噪声阶段则相对平稳。

这就好比让同一个人既当交响乐指挥,又当打击乐手。指挥需要宏观把控全局节奏和情绪走向,这是一种需要大局观、处理复杂多变信号的工作;打击乐手则需要精确控制每一次敲击的力度和时机,是一种局部、精细、重复性强的工作。如果你强行让一个人同时兼顾这两种完全不同的工作模式,要么指挥部分乱了节奏,要么打击乐的精度跟不上。用一个模型硬扛两种性质迥异的任务,就是这种精力分裂的状态,模型的参数空间被两种互相矛盾的学习信号来回拉扯,谁也学不好。

这就是论文提出的核心洞察:不是数据不够,而是任务性质不同却硬塞给了同一个"脑子"去学。

把任务拆开:两个专家各管一段

搞清楚病因,药方就清楚了。既然高噪声阶段(决定画面大致布局和运动趋势)和低噪声阶段(决定纹理细节)性质不同,那就分别训练两个专门的小模型来负责。

论文提出的方法叫

Glance Forcing*:一种轻量级的蒸馏框架,核心思路是把去噪过程按噪声水平拆成两段,分别用两个专门的"专家"模型来处理,整个过程只需要一条训练数据。

这里用到了一个叫

LoRA*:Low-Rank Adaptation的缩写,一种给大模型打"小补丁"的微调技术,不需要改动模型本身的全部参数,只需要训练一小部分额外的低秩矩阵,就能让模型适应新任务,大大降低训练成本。

的轻量化技术,论文设计了双LoRA结构:一个叫Slow-LoRA,专门负责高噪声阶段的语义轨迹合成(也就是决定画面里有什么、怎么动);另一个叫Fast-LoRA,专门负责低噪声阶段的细节打磨(也就是纹理、边缘这些精细的东西)。

整个预训练的教师大模型始终保持冻结状态,不参与训练,只有这两个LoRA小模块在学习。这意味着训练成本极低,因为需要更新的参数量只是模型总参数的一小部分。

这就像装修房子的时候,你不会让同一个工人既砌墙又贴瓷砖。砌墙需要的是力气和结构感,决定房间的骨架;贴瓷砖需要的是耐心和手感,决定最终的观感。专业分工之后,砌墙师傅不用操心瓷砖纹路对不对齐,贴瓷砖师傅也不用管承重墙在哪儿,两人各司其职,活儿反而干得又快又好。如果非要一个人全包,可能两样都做不精,工期还拖得更长。

论文还设计了两个

专家特定损失函数*:针对Slow-LoRA和Fast-LoRA各自的任务特点,专门定制的训练目标函数,用来强化每个专家的专长。

第一个是

时序频谱损失*:Temporal Frequency Spectrum Loss,通过对视频的时间轴做傅里叶变换,在频域里约束生成内容的时序能量分布,防止画面出现闪烁抖动,同时保留合理的运动变化。

这个损失专门配合Slow-LoRA使用,目的是让生成的运动更连贯,不会一会儿一个样。

第二个是

空间高通损失*:Spatial High-Pass Loss,用固定的拉普拉斯算子提取图像的高频边缘信息,强制模型生成更清晰锐利的纹理细节,而不是模糊一片。

这个损失配合Fast-LoRA使用,专门打磨细节的清晰度。

论文图5的消融实验很能说明问题。研究者测试了四种配置:普通的一致性模型(Vanilla VCM)、只加Slow专家、只加Fast专家、以及Slow+Fast组合。结果显示,单独的Slow专家和Fast专家都分别在语义结构和细节层面上超过了普通模型,而两者组合起来效果最好,VBench分数从大约81分提升到接近83分。这证明了拆分任务确实管用,而不是研究者的一厢情愿。

一条数据到底能不能撑起整个训练

这里有个更深层的问题值得追问:为什么一条数据轨迹能提供足够的几何监督?

研究团队做了个巧妙的实验来验证这件事。他们用两个指标来衡量去噪轨迹的几何形状:一个叫

轨迹直度*:衡量从起点到终点的直线距离,和实际走过的路径总长度之间的比值,数值越接近1说明路径越直,偏离越小。

另一个叫

逐步余弦相似度*:衡量每一步的去噪方向和整体轨迹总方向之间的夹角相似程度,用来判断每一步走得是否"在正道上"。

他们对比了用1条样本和3000条样本做轨迹初始化的效果,结果发现图4里两条曲线几乎重合。也就是说,把监督数据从1条扩展到3000条,对轨迹的几何形态(直度和方向一致性)几乎没有改善。

这个发现很关键。它说明ODE初始化这一步的作用,主要是把原本弯弯曲曲的长步去噪路径,捋直成一条适合少步推理的流畅路径,而不是要去全面覆盖数据分布的方方面面。既然教师模型本身已经对各种输入形成了相似的轨迹结构,那么一条样本只要覆盖了噪声从头到尾的整个时间域,就足够把这条"捋直"的任务做好了。

真正负责让生成结果贴近真实数据分布的,是后面紧跟着的

DMD*:Distribution Matching Distillation的缩写,一种蒸馏技术,不是去逐点模仿教师模型的具体轨迹,而是让学生模型生成的整体数据分布去匹配目标数据分布,用的是类似对抗学习里的梯度匹配思路。

这一步。论文发现DMD之后,整体轨迹的几何形态基本不变,但生成质量明显提升。这说明DMD主要负责的是让画面更真实、更符合人类审美,而不是改变已经捋直的那条路径骨架。

这就好比你先用尺子把一条弯曲的绳子拉直(这是ODE初始化在做的事),拉直的过程不需要无数把尺子反复测量,一把尺子量准基本形状就够了。接下来你要给这根直绳染色、上光泽(这是DMD在做的事),染色的效果好不好,靠的不是拉直时用了几把尺子,而是染料配方和上色技巧本身。两件事分工明确,第一件事不需要海量数据,第二件事另有专门的机制负责。

实验结果:数据少了,效果反而更好

论文的核心对比表格(表1)展示了相当扎实的结果。

| 模型 | 训练数据量 | VBench总分 | 动态程度 | VisionReward |

|---|---|---|---|---|

| Causal Forcing | 25000条 | 84.04 | 68 | 6.326 |

| **Glance Forcing** | 25000条 | **84.33** | **78** | **6.921** |

| Glance Forcing(单样本) | 1条 | 84.22 | 75 | 6.870 |

可以看到,即便只用一条数据,Glance Forcing的总分(84.22)依然超过了用了25000条数据训练的Causal Forcing(84.04)。而当训练预算扩展到和基线相同的规模时,Glance Forcing进一步提升到84.33,是整张表里的最高分。

值得一提的是动态程度这一项,Glance Forcing在单样本设置下达到75,全量训练下达到78,相比Causal Forcing的64和68有明显优势。这说明新方法生成的视频运动感更自然,不是那种画面僵硬、动作生硬的"PPT式"视频。

论文还做了

人类偏好研究*:让人类评估者对比不同模型生成的视频,判断哪个更好,用来验证客观指标之外的主观观感是否也支持这个结论。

结果显示,Glance Forcing对比Self Forcing的胜率达到91.3%,对比Causal Forcing的胜率也有63.3%,说明这不只是跑分好看,普通人看着也觉得更舒服。

研究团队还做了个很细致的补充实验,专门探究"一条样本"到底选什么样的内容合适。他们沿着三个维度构造了对照样本:运动幅度(高运动vs低运动)、视觉复杂度(复杂纹理vs简单几何)、领域特异性(开放域内容vs特定领域内容)。

结果(表4)显示,对于ODE初始化这一步,低运动、开放域的样本效果更好,而高运动、特定领域的样本初始化效果会打折扣。但有意思的是,后续的DMD蒸馏几乎能把所有情况都拉回正轨,尤其对高运动和简单几何这类样本的提升特别明显。这进一步印证了前面说的分工逻辑:ODE负责搭骨架,DMD负责精修,骨架搭得不够好,精修阶段还能补救不少。

论文还顺手验证了这套思路能不能用到别的场景。他们把这个方法用在了普通的双向扩散图像生成加速上,把一个50步的Wan2.1模型蒸馏成8步的模型,依然只用一条训练样本,结果显示生成质量和原版基本持平,而采样成本降低了5倍以上。这说明"少量数据+任务拆分"这个思路不是只对自回归视频生成管用,而是有更广泛的适用性。

写在后面

读这篇论文时,最让我意外的不是省了多少钱,而是它揭示的那个底层逻辑:很多时候我们以为需要"更多数据"来解决的问题,实际上需要的是"更对的拆分方式"。数据量从几千条砍到一条,省下来的不只是GPU小时,更是一种认知上的提醒,就是在动手堆数据之前,先想清楚这个任务里到底有几种性质不同的子问题。

论文里那个92.5%曲率集中在高噪声区域的发现尤其让我觉得有意思。这意味着扩散模型的"难点"从一开始就是不均匀分布的,大部分复杂度都挤在刚开始去噪的那几步,后面的步骤相对来说是"收尾"工作。这个发现本身跳出了"均匀采样时间步"这种默认操作的舒适区,逼着研究者去正视这种不均匀性,而不是假装所有时间步都一样重要。

还有一点值得琢磨:论文反复强调教师模型始终冻结,只训练两个轻量LoRA模块。这种"不动大模型本体,只加小补丁"的思路,跟现在很多大模型微调的套路是一脉相承的。某种程度上,这篇论文做的事情,可以看作是把"参数高效微调"的思路,第一次系统性地用在了"按噪声阶段分工"这件事上,而不是常规的"按任务类型分工"。这个角度的迁移,是不是也能用在其他需要处理多阶段、多性质子问题的场景里?比如语言模型里,生成长文本的"构思大纲"阶段和"润色措辞"阶段,是不是也存在类似的性质分裂,值得用类似的拆分思路去处理?

Q&A

Q1:Glance Forcing方法只用一条训练样本真的够用吗?

A:是的,论文实验证明只用一条PF-ODE轨迹训练的Glance Forcing模型,VBench总分达到84.22,超过了用25000条样本训练的Causal Forcing基线(84.04),训练成本从几千GPU小时降到约一个A100-GPU小时。

Q2:Glance Forcing为什么要把去噪过程拆成Slow-LoRA和Fast-LoRA两个专家?

A:因为研究发现扩散去噪轨迹里,92.5%以上的曲率集中在高噪声阶段,且高噪声和低噪声阶段的训练损失行为差异很大,一个模型同时学两种性质不同的任务会产生表征干扰,拆分成两个专家各管一段能避免这种冲突。

Q3:Glance Forcing和Causal Forcing、Self Forcing有什么区别?

A:Self Forcing和Causal Forcing都依赖大规模PF-ODE轨迹数据做蒸馏训练,成本高昂;Glance Forcing通过任务拆分和专家特定损失函数,只需一条轨迹就能达到相当或更好的效果,大幅降低了训练数据和算力成本。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。