你有没有想过,为什么现在那些能实时互动的AI视频生成工具,画面质量总是差点意思?不是算法不够聪明,是它们在做一件挺浪费的事:不管画面里哪块地方,统统用同样的力气去处理。
这事说起来有点反直觉。你可能觉得,视频生成模型既然已经是顶尖AI技术了,那对每一帧画面肯定都做了最优处理吧。但事实恰恰相反。现在主流的自回归视频扩散模型,在生成下一段视频时,会把整个画面切成一个个小块(学术上叫"patch",也就是图像或视频里的小方块区域,模型处理时的最小单位),然后不管这块是background里一潭静水,还是前景里正在爬动的人物,一律套用相同的去噪步数和计算资源。
这就好比一个画家画一幅风景画,天空和云彩几笔带过就很像样,但人物的面部表情和手指关节需要反复修改才能画准。如果这个画家被要求对画面每一寸都花费同样多的时间精修,那要么是在简单的部分浪费太多时间(效率低),要么是减少总时间后连复杂的部分都来不及画细(质量差)。这正是现在视频生成模型面临的两难。
HKUST(香港科技大学)、VAST和澳门科技大学的研究者们联合提出了一个叫ForcingBooster的方法,试图解决这个尴尬局面。它的思路挺朴素:让简单的画面区域提前"收工",把省下来的算力都砸到真正需要打磨的复杂区域上。结果是,总的去噪计算量能降低大约一半,但生成质量几乎没有损失。
这件事到底难在哪里
先说说什么是"自回归视频扩散"。
自回归视频扩散:把生成一整段视频拆解成一段一段地生成,每一段(叫做chunk,即视频块)都基于前面已经生成的内容作为条件,像接龙一样往下写。这种方式的好处是不用等整段视频全部算完才能看到结果,边生成边输出,适合实时交互场景。
这种技术最早由Diffusion Forcing(扩散强制)这类工作开创,后来CausVid、Self Forcing、Causal Forcing等一系列蒸馏方法把原本需要几十步去噪才能生成一帧的模型,压缩到了四步甚至更少。这个压缩幅度是惊人的:想象一下原本要熬夜改十几稿的论文,现在被要求四稿之内定稿。效率是上去了,但代价呢?
代价就是,即便压缩到了四步,这四步仍然是"一刀切"地应用在画面的每一个patch上。研究者做了一个挺扎实的对照实验来验证这个问题到底有多严重。他们用Causal Forcing这个模型,固定住第一段视频作为历史参考,只生成紧接着的那一段。然后记录四步去噪过程中,每一步生成的中间结果和最终完整四步跑完的结果之间的相似度(用PSNR,峰值信噪比衡量,数值越高说明越接近)。
结果挺有意思。30.6%的画面区域,走完第一步就已经非常接近最终效果了。另外12.25%和9.69%分别在第二步、第三步就达标。但剩下47.45%的区域,前三步都没能达到这个阈值,说明它们真的需要走完全部步骤才能稳定下来。
这组数字说明了什么?说明如果你把所有区域都按"最难的那47.45%"来分配资源,那前面三成区域全是在做无用功。反过来,如果你图省事把步数砍到一两步,那将近一半的区域会留下明显瑕疵。论文里给了个很直观的例子:攀岩者的手部和岩石纹理,在只用一两步生成时明显变形走样,而背景的天空和山坡几乎看不出区别。
这就是ForcingBooster要解决的核心矛盾:统一的步数预算,要么浪费在简单区域,要么亏待复杂区域,没有两全的办法,除非你能让模型自己判断哪里该多花力气,哪里可以提前打住。
让模型学会"偷懒"和"较真"
ForcingBooster的核心设计是给已经训练好的视频生成模型,装上一个轻量级的"路由器"(router)。
路由器:一个额外训练的小模块,它的工作是在每一步去噪之后,给画面里每个patch打分,预测这个区域"是否已经够好了,可以提前停止去噪"。如果某个patch的停止概率超过设定的阈值,它就不再参与后续的去噪计算,直接把当前步骤算出的结果当作最终输出。
这里要解决两个技术难题。第一个难题是:如果一个patch提前"下班"了,它用什么东西作为最终输出?
这就涉及到扩散模型和流匹配模型(flow matching,另一类生成模型技术路线)的一个共同特性,叫做x0预测。
x0预测:不管模型内部具体预测的是噪声还是速度场,在每一步去噪的中间阶段,都可以反推出一个"假如现在就停下来,画面会长什么样"的清晰图像估计。这个中间估计给了提前退出的patch一个现成的、可以直接使用的输出,不需要额外设计机制。
这个设计挺巧妙的,因为它不需要改动原来的生成网络,只是多"读取"一下模型本来就会产生的中间信息。就像老师批改作文,学生写到一半时,其实已经能大致看出这篇文章最终能打多少分,不需要一定等全文写完才能判断。
第二个难题更棘手:怎么知道一个patch到底该在第几步停下来?没有人给出过"标准答案"告诉模型,这块区域就该在第二步停,那块区域必须撑到第四步。
研究者的解法是设计了两个损失函数(loss,也就是训练模型时用来衡量"做得好不好"的数值指标,数值越小代表越接近目标),让路由器自己在训练过程中摸索出规律。
第一个是停止代理损失(stopping surrogate loss)。
停止代理损失:用当前patch的中间预测结果和"跑完全部步骤"的最终结果之间的误差,来惩罚那些误差大却还被判定为"可以停止"的情况。换句话说,如果某个区域现在停下来效果就很差,那给它打高停止概率就要受罚;如果已经和最终结果很接近了,提前停反而不受罚。
但光有这一条损失会出大问题。因为对模型来说,最保险的策略永远是"一个都不停,跑满全部步骤",这样误差肯定最小,却完全失去了提速的意义。
所以第二条损失登场了,叫做预期去噪成本(expected denoising cost)。这条损失专门用来逼迫模型往"早停"的方向靠拢,给每多跑一步都算上代价。两条损失相互拉扯,一条说"别停太早会出错",一条说"别拖太久会浪费",路由器就在这种拉锯里学会权衡。
这个训练过程还有个细节值得说一下,叫做在线策略(on-policy)训练。
在线策略训练:训练时不是用固定不变的标准答案,而是让路由器根据自己当前的判断去跑一遍完整流程,记录下在当前策略下每个patch实际会在哪一步退出,再用这个结果去更新路由器自己。这样路由器学到的东西,反映的是它自己实时在变化的行为模式,而不是某个一成不变的外部标注。
这有点像健身时根据自己当天的真实状态调整训练计划,而不是死守一张几年前订的固定课表。如果不这样做,路由器学到的早停策略可能和它实际运行时的行为对不上号,训练出来的东西用不上。
整个训练过程非常轻量,只需要大约500步训练,监督数据也全部来自冻结不动的原始生成模型自己跑出来的完整结果,不需要额外收集任何视频数据或者人工标注。
效果如何,数字说话
研究者在多个模型上验证了这套方法,包括Causal Forcing 1.3B、Wan2.1 14B、LingBot-World-V2 14B和LongLive。
在Causal Forcing上的结果最为详细。四步基线的Total得分是82.08,ForcingBooster达到81.55,几乎没有掉分,但去噪步数总量减少了50.19%,端到端生成速度提升了1.3倍。相比之下,如果直接把步数砍成两步,虽然速度相近,但Total得分只有81.29,比ForcingBooster还低。
方法 Quality Semantic Total 速度提升 步数减少
一步 83.06 69.50 80.35 1.58倍 64.29%
两步 83.69 71.66 81.29 1.29倍 42.86%
三步 84.24 71.96 81.78 1.14倍 21.43%
四步(基线) 84.54 72.21 82.08 - -
ForcingBooster 83.88 72.20 81.55 1.30倍 50.19%
这张表最值得注意的地方是,ForcingBooster在和两步法速度差不多的情况下,三项指标全面超越两步法,这说明问题不在于"少用几步",而在于"少用在哪里"。
在Wan2.1 14B、LingBot-World-V2 14B、LongLive这三个不同规模和架构的模型上,结果也类似:ForcingBooster的质量分数都紧贴着四步基线,速度提升在1.15到1.31倍之间,全面优于单步采样的结果。单步采样虽然最快,但从图片对比能明显看出,人物面部、手部细节、复杂纹理区域都出现了可见的瑕疵。
这还不是全部。研究者还专门做了一组对照实验,想验证"选对位置"这件事到底有没有必要,还是说随便分配步数效果也差不多。他们设计了两个对比策略:一个叫"随机"(Random),保留每一帧里各个步数对应区域的数量分布,但把这些区域随机打乱位置;另一个叫"按块统一"(Chunk-wise router),把patch级别的早停决策,汇总成整个视频段统一用一个步数。
结果显示,在差不多的运行时间下,ForcingBooster的Total得分是81.54,明显高于随机策略的79.03和按块统一的80.01。这说明早停决策"放对位置"这件事本身就有价值,不是单纯因为省了多少步数。从视频效果上看,按块统一策略会导致某些时间段画面发糊,人物面部手部细节变弱;随机策略则表现出明显的闪烁感,物体轮廓忽隐忽现,看着很不稳定。ForcingBooster则在视觉锐度和时间一致性上都最接近四步基线。
这两个参数怎么调才合适
论文还深入分析了两个关键的调节参数。
第一个是计算成本权重,控制训练时"鼓励早停"这个压力有多大。如果这个权重设得太小或者是零,路由器干脆什么都不停,全部四步跑完,等于白白增加了路由器本身的计算开销,反而更慢。权重设在0.015到0.03之间时,既能明显省时间,又能保持和四步基线很接近的效果(用LPIPS衡量,这是一种衡量两张图片感知相似度的指标,数值越低说明越像)。但权重继续往上加,省下的时间越来越有限,偏离四步结果的程度反而变大了。这说明早停这件事并不是越激进越好,得找到一个平衡点。
第二个是停止阈值,也就是停止概率超过多少才判定为可以退出。实验里针对0.1到0.9这个区间分别训练了独立的路由器。有意思的是,阈值调高虽然普遍会增加运行时间,但并不必然带来更接近四步基线的效果。这说明单纯调高或调低阈值,并不是提升质量的可靠办法,真正起作用的是路由器本身学到的判断能力。
最后还有一组关于视频"动态程度"的分析。研究者用RAFT这个光流估计工具(用来衡量视频里相邻帧之间物体移动幅度的技术),把测试视频按运动幅度分成五组。结果显示,画面运动越小的视频,ForcingBooster的加速效果越明显,最高能逼近单步去噪的速度,相当于1.5倍加速,去噪步数总量能减少约75%。这个结果其实很符合直觉:如果画面本来就没怎么动,那自然有更多区域可以提前判定"已经够好了",早停的空间就更大。
这套思路和之前的工作有什么不一样
领域里其实已经有不少人尝试过类似的"自适应计算"思路。比如DSA这篇工作,会联合训练一个置信度预测头和生成器本身,来决定整帧或整个视频段该用几步,但它的粒度仍然停留在"块"这个层级,块内部的每个patch还是共享同一个预算。还有Patch Forcing,在图像生成里训练带有空间变化噪声水平的模型,用预测出的patch难度来指导采样。再比如HSA,它在不需要训练的前提下给每个token(模型处理的最小数据单元)分配不同的步数预算,但跳过的区域仍然要用缓存下来的速度场继续往前推进。
ForcingBooster和这些工作最大的不同在于,它完全不改动原始生成器,只训练一个轻量路由器,挂在冻结不动的少步生成模型上。被提前停下来的patch,它的清晰预测结果就被直接固定住了,后续的Transformer计算完全不再碰它,只是把它的KV缓存(Key-Value cache,Transformer模型里用来复用历史计算结果、避免重复运算的一种缓存机制)留给还在继续处理的那些区域当作上下文参考。这个设计的好处是,既不会丢掉其他区域需要用到的上下文信息,又能实实在在地省掉计算量,而不是换个方式继续隐性地推进那些本该停下的区域。
写在后面
读完这篇论文,我印象最深的其实不是它提速了多少,而是那组"30.6%的区域一步就够了"的数据。这个数字背后藏着一个挺朴素的事实:视频里的信息密度从来就不是均匀分布的。我们习惯性地认为AI模型越"聪明",它的计算方式就应该越统一、越标准化,但这篇论文恰恰说明,真正聪明的系统应该是"因材施教"的,对简单的东西偷懒,对复杂的东西较真。
还有一个细节值得单独说一下。论文里那个关于视频运动幅度的实验,其实悄悄回答了一个很实际的问题:这套方法在什么场景下最划算?答案是运动幅度小的视频,比如那种摄像头固定、背景变化不大的场景,世界模型里常见的室内漫游、缓慢平移镜头,这些场景能吃到最大的加速红利。这意味着未来如果要把这类技术用在具体产品上,场景选择本身就是一个值得提前想清楚的变量,不是所有视频类型都能获得同等收益。
论文里没有细说的一个问题是,这套路由机制在面对那种突然剧烈变化的画面时反应速度如何,比如镜头剧烈晃动或者场景突然切换的瞬间,路由器能不能足够快地调整它的"信心"判断,还是会有一个滞后期。这个问题论文没有专门测试,但我觉得挺值得继续追问的,因为真实世界的交互式视频生成场景里,这种突变其实并不少见。
画面里哪块该偷懒,哪块该较真,原来不需要人来告诉模型,模型自己就能学会判断。那下一步呢,会不会连"去噪步数"这件事本身也变得不再必要,模型学会直接判断每个区域离"完成"还有多远?
Q&A
Q1:ForcingBooster是什么?
A:ForcingBooster是一种给已训练好的少步视频生成模型加装的轻量级路由模块,它能动态判断画面里每个小区域是否已经生成得足够好,从而让简单区域提前停止去噪、复杂区域继续精细处理,整体去噪步数能减少约50%而画质几乎不受影响。
Q2:ForcingBooster需要重新训练整个视频生成模型吗?
A:不需要。ForcingBooster只需要训练一个轻量级的路由器模块,原有的生成模型保持冻结不变,训练过程大约只需要500步,且监督信号完全来自模型自己生成的完整结果,不需要额外的视频数据或人工标注。
Q3:ForcingBooster和单纯减少去噪步数(比如直接用一步或两步采样)有什么区别?
A:直接减少步数是对所有区域一刀切,容易导致复杂区域(比如人物手部、精细纹理)出现明显瑕疵。ForcingBooster则是按区域分配,简单区域少算、复杂区域多算,在相近运行速度下质量明显优于均匀减少步数的做法。







