Token导航 LogoToken导航

AI 资讯 · 科技行者

Speculative Forcing让AI视频生成提速50%

更新 2026-11-19科技行者正文 5122字阅读约 17分钟

你有没有想过,一个AI在画一段视频的时候,画面里每一个像素块需要的"打磨时间"真的一样多吗?

比如一个人站在废墟里说话,背景的瓦砾堆几步前就已经和之前的画面长得差不多了,但人物的嘴型和表情还在不停变化。按照常理,AI模型应该聪明到知道"瓦砾可以先放一放,嘴型得继续抠细节",但事实是,几乎所有的视频生成模型都在用同一套办法对待画面里的每一个角落:无论这个地方早就画好了还是还差得远,都要走完全部的计算步骤才算数。这就是本文要解决的问题。

**核心问题:为什么"一视同仁"是一种浪费**

要理解这个问题,得先搞懂AI是怎么画视频的。

现在效率最高的视频生成方式叫做自回归生成,简单说就是像写文章一样,一段一段往后接着生成,前面生成的内容会被模型记住并作为后续生成的参考。而生成每一段画面的过程又用了一种叫做扩散模型的技术。

扩散模型*:一种从随机噪点开始,通过反复"去噪"逐步还原出清晰图像的生成技术,去噪的每一步都会让图像更接近最终样子。

为了让这个过程够快,能支撑实时的视频流生成,研究者们把原本需要几十步甚至上百步的去噪过程压缩到只有四步,这种压缩技术叫做蒸馏。像LongLive和Lingbot-World这样的模型就是这么干的,每一帧画面只经过四次"去噪"打磨就直接出炉。

这听起来已经很极限了。四步,听起来已经没什么可省的空间了。但问题恰恰出在这里:四步是针对整个画面的"平均难度"设计的,可画面里不同区域的难度根本不一样。论文里给出了一个很直观的证据:把每个画面块在第一步、第二步、第三步的中间结果,拿去跟第四步(也就是"标准答案")做对比,结果发现有些区域几步之内差距就已经很小了,而另一些区域,直到第四步差距依然很大。

这就好比一个老师批改一整个班的作业,有的学生写得又快又对,第一遍就该收卷了;有的学生还在那儿反复涂改。但老师偏偏规定所有人必须等铃响才能交卷。如果不这样规定会怎样?那些早就写完的学生要么无所事事,要么被迫在已经写对的答案上继续改来改去,改到最后可能反而改错了,这就是在浪费本可以用在"后进生"身上的辅导时间。四步去噪的模型,就是这个铃响才能交卷的教室。

论文的作者们盯上了一个关键细节:这些压缩后的模型,在训练阶段用的技术叫分布匹配蒸馏。

分布匹配蒸馏*:一种让"学生模型"(快速版)的输出结果,在整体风格和分布上尽量逼近"老师模型"(原始的慢速高质量版)的训练方法。

而Self Forcing这个前置工作在训练时有个特点,它会随机选一个中间步骤,把那一步的"中间产物"直接当作最终输出去参与训练监督。这意味着,这些模型的中间结果本来就被训练成"看起来像是可以直接拿来用的样子",而不是一堆半成品噪点。这给了作者们一个大胆的想法:既然中间结果本就有资格当"成品",那能不能让每个画面块自己决定什么时候"交卷"?

**Speculative Forcing:把每个画面块当成一份独立的草稿**

于是作者提出了Speculative Forcing这个框架,中文可以理解成投机式强制去噪。

它的核心操作可以拆成三步。第一,每走一步去噪,就把当前的中间结果当作一份草稿。第二,找一个检验者去判断这份草稿是不是已经足够接近"标准答案"了。第三,如果判断通过,这个画面块就被冻结,不再参与后续的去噪计算,但它算出来的特征依然会被保留下来,留给其他还没写完的画面块当参考资料用。

这里有个很关键的技术细节,叫做键值缓存。

键值缓存*:在Transformer模型的注意力机制里,把已经计算过的关键信息(Key和Value)存起来,后续计算时直接复用,不用重新算一遍,这是加速大模型推理的常见手段。

被冻结的画面块虽然不再计算,但它的键值缓存依然"活着",还在为周围没写完的区域提供上下文信息。这就像一个团队项目里,有人已经把自己那部分报告定稿了,他的稿子依然摆在桌上,其他组员写自己那部分的时候还能随时翻看参考,只是这位组员本人不用再继续改稿了。如果不保留这份缓存会怎样?其他画面块就会丢失重要的上下文线索,比如一个物体和背景的衔接关系,画面就容易出现割裂感。这也是为什么作者坚持"冻结但保留痕迹",而不是简单粗暴地"冻结并清空"。

那怎么判断一份草稿到底够不够格提前交卷呢?这就要讲到论文里最核心的两套检验机制了。

**训练免费型检验员:靠眼熟和稳定来判断**

第一套方案完全不需要额外训练,作者叫它训练免费的检验员。

它的逻辑建立在两个朴素的观察上。第一个观察是,在去噪的第一步,如果一个画面块的草稿已经和之前生成过的内容,或者参考图片里的某块内容非常相似,那么它大概率已经收敛了,不需要再折腾。这叫冗余检验,说白了就是"眼熟原则":如果这块画面看起来跟我以前见过的某块长得差不多,那它可能已经没什么新东西要画了。

第二个观察发生在第二步及以后。这时候已经有两份连续的草稿可以比较了,如果这两份草稿几乎没什么变化,那说明这个画面块已经稳定下来,不会再有大的改动了。这叫稳定性检验。

这套机制其实特别像检查一锅汤是不是炖好了。第一口尝的时候,如果这锅汤的味道已经跟你记忆里"炖好的汤"差不多,你可能直接就关火了,这是冗余检验。但如果你没有历史参照物,那就得靠连续两次尝味之间的变化幅度来判断,如果第二次和第一次尝起来几乎一样,说明火候已经到位,继续炖下去味道也不会再变了,这是稳定性检验。如果不设这两道检验会怎样?那就只能靠死板的固定步数去判断,炖久了的汤可能已经熬干了味道却没人管,炖浅了的汤还硬说它好了,这正是四步统一去噪的问题所在。

**学习型检验员:让模型自己读懂自己的内心活动**

训练免费的方法虽然省事,但它判断的毕竟只是草稿本身的"外在表现",没有深入模型内部去看"内心活动"。对于更复杂的场景,比如论文里提到的世界模型,这种外在判断就容易失灵。

世界模型*:一种可以根据用户输入的动作指令(比如前进、转向)实时生成对应画面变化的交互式AI系统,常用于游戏和虚拟场景构建。

为什么世界模型更难判断?因为摄像机一动,画面里原本看不见的区域会突然冒出来,这些新区域跟之前见过的内容完全不沾边,单靠"眼熟"或者"稳定"这两条经验法则很容易误判。打个比方,一辆车突然转过街角,眼前出现了一整条此前从未露出的巷子,这条巷子的画面怎么可能和历史画面相似?但它也不是"不稳定",它只是全新的。这种情况下,外在的相似度和稳定性信号都会失灵。

所以作者又设计了第二套方案,叫学习型检验员。它的做法是在冻结的生成模型里加一个很轻巧的卷积头,专门去读取模型内部某一层的隐藏特征,然后直接预测这个画面块现在距离"标准答案"还有多远的差距。

这个卷积头只有三层3D卷积,参数量才411万,跟整个生成模型动辄十几亿的参数比起来,几乎可以忽略不计。训练的时候,生成模型本身是冻结不动的,只训练这个小小的检验头,让它学会从模型的"大脑活动"里读出"这块画面还差多少才能收敛"的信号。

这就好比一个老中医不看病人表面的脸色,而是直接摸脉象来判断身体状况。脸色是外在表现,有时候会骗人,比如人紧张的时候脸色也会发白,但不代表真的有病,这就对应着训练免费检验员可能误判的情况。但脉象反映的是身体内部真实的运行状态,更可靠。学习型检验员读取的正是模型内部的"脉象",所以在世界模型这种复杂场景下表现得更稳。

**不是整块一起判断,而是逐个像素块单独裁决**

这里有个很容易被忽略但其实至关重要的设计:判断的粒度是单个画面块,不是整个画面帧,更不是整个视频片段。

之前已经有研究尝试过给整段视频或者整个画面帧统一分配去噪步数,比如论文里提到的DSA和Surprise Forcing这两个工作。但这种做法的问题在于,一整块画面里往往是"有的地方该结束,有的地方还没结束"同时存在,统一判断就等于把快写完的学生和刚起步的学生强行按同一个进度收卷。

论文做了专门的对比实验来验证这一点。他们让学习型检验员改成整块判断,结果发现质量分数掉了,画质漂移指标从2.839涨到了3.214。这说明一旦把判断粒度放粗,一些明明还没收敛的区域会被连坐提前交卷,画面质量就跟着受损。这就像是一个班级统一按最快写完的那个人的进度集体交卷,结果是那些本该多花点时间的同学的答案被强行截断,整体成绩自然下滑。

**实验结果:省了一半计算量,质量却没掉**

说了这么多设计思路,最终效果到底怎么样?

论文在三个场景下做了验证:短视频生成,长视频生成,以及交互式世界模型生成。使用的基座模型分别是LongLive和Lingbot-World 2.0。

在短视频生成任务上,原本四步去噪的LongLive,总分是83.08。用了Speculative Forcing之后,平均每个画面块只需要1.68步左右的去噪,总分反而小幅提升到了83.21。推理速度从每秒26.4帧提升到41.74帧,快了1.58倍。

在长视频生成任务上,也就是30秒的长片段,四步基准模型总分82.69,画质漂移指标1.722。Speculative Forcing用1.72步左右的平均深度就做到了总分82.81,漂移指标还降到了1.707,说明画面质量的稳定性甚至更好了。速度从每秒24.5帧提到37.78帧,快了1.54倍。

在最具挑战性的世界模型任务上,因为摄像机运动会不断带来全新的画面内容,平均步数降不到两步以下,最终稳定在2.55步左右。即便如此,质量分数82.65依然和四步基准的82.62基本持平,画质漂移从3.094降到2.839,相机轨迹跟随的精度也没有打折扣。速度从18.1帧提升到24.5帧,快了1.35倍。

论文还专门做了一个对照实验,拿一个理论上限最高的方案做参照,叫做预知检验员。这个方案允许直接拿到四步跑完之后的真实结果去判断该不该提前接受,相当于开了天眼。结果显示,学习型检验员的表现已经非常接近这个开天眼的理论上限,这说明那个小小的卷积头确实学到了有用的信号,不是瞎猜。

**写在后面**

读这篇论文的时候,我一直在想一个问题:为什么这种"按需分配计算量"的思路,直到现在才被明确提出来做视频生成?

后来想明白了,这其实跟蒸馏技术的发展节奏有关系。早期的视频扩散模型需要几十步甚至上百步去噪,每一步之间的差异都很小,根本没有谁先收敛谁没收敛的问题,因为谁都没收敛。只有当蒸馏技术把步数压到四步这种极限状态,每一步之间的信息密度被大幅拉高,不同区域的收敛速度差异才会被放大到可以观察、可以利用的程度。换句话说,这个方法的出现本身就依赖于前置的蒸馏技术先把水烧到临界点,Speculative Forcing做的事情,是在这个临界点上再挤出最后一点余量。

论文里有个细节我觉得值得单独说一下:作者发现一个完全没训练过、结构更简单的逐像素MLP,检验准确率竟然和那个专门设计的卷积头差不多。这说明真正起作用的,不是检验头本身的结构有多精巧,而是生成模型内部的隐藏特征里,本来就天然携带着"我还差多少才能收敛"这个信息,检验头只是把这个信息读出来而已。这个发现其实有点反直觉,因为通常我们会觉得精心设计的网络结构才是性能的关键,但这里关键其实在于"信息本来就在那儿",读取方式反而没那么讲究。

这让我想到一个更大的问题:生成模型内部到底还藏着多少这类"顺手就能读出来"的信号,是我们过去因为只盯着最终输出而完全忽略掉的?如果一个模型的中间状态本身就蕴含着关于自己计算进度、自己置信程度的丰富信息,那我们是不是应该更认真地对待这些"过程产物",而不是只把它们当作通往终点的垫脚石?

Q&A

Q1:Speculative Forcing是什么?

A:Speculative Forcing是一种让视频生成模型按需分配计算量的框架,它把去噪过程中的中间结果当作草稿,用检验机制判断哪些画面块已经收敛可以提前"交卷",从而减少不必要的计算,在不损失画质的前提下让生成速度提升超过1.5倍。

Q2:Speculative Forcing为什么能加速视频生成还不降低质量?

A:因为视频画面里不同区域的收敛速度本来就不一样,背景或重复内容往往几步就定型,而新出现或变化剧烈的区域需要更多打磨。该方法让已收敛的区域提前冻结停止计算,只把算力集中花在还没收敛的区域上,省下来的计算量用在真正需要的地方。

Q3:Speculative Forcing的训练免费检验员和学习型检验员有什么区别?

A:训练免费检验员靠画面草稿和历史内容的相似度以及连续两步之间的变化幅度来判断是否收敛,不需要额外训练;学习型检验员则用一个轻量卷积头读取生成模型内部的隐藏特征,直接预测收敛差距,在摄像机运动剧烈的世界模型场景下表现更稳定。

文章标签AI资讯

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。