你有没有玩过那种"传话游戏"？十个人排成一排，第一个人悄悄说一句话，传到最后一个人嘴里，往往已经面目全非。AI生成长视频，其实也在玩一个类似的游戏，只不过玩得更久，一玩可能就是几万帧。
这就是这篇论文要解决的问题。
**AI生成视频为什么会越拍越崩**
先说一个背景。现在主流的AI视频生成模型，大多是"自回归"方式工作的。
自回归生成：模型不是一次性把整个视频画出来，而是像写小说一样一段一段往下写，每一段都要参考前面已经写好的内容。
这个方式的好处很明显，可以支持实时生成，可以无限延伸下去，很适合做交互式的"世界模型"，比如游戏场景、虚拟人之类的应用。但问题也很明显：视频拍得越长，前面的误差就越容易被后面继承、放大，最后画面崩坏、人物变形、场景漂移,这些问题屡见不鲜。
过去几年，研究者们想了不少办法来缓解这个问题。一个叫Self Forcing（SF）的方法，提出用"自己生成的历史"而不是"标准答案历史"来训练模型，这样训练和实际使用时的情况就能对上号，不至于出现"平时在标准答案里长大，上了考场就懵"的局面。这个思路确实管用，但SF有个取巧的地方：它把历史记录当成一个冻结的缓存，只让后面的生成结果去"读"这段历史，却不允许反过来调整"这段历史当初是怎么被写进缓存的"。
打个比方。你写周报，每周都要参考上周的工作记录。SF相当于规定：你可以随便看上周的记录，但不能改进"写周报总结"这件事本身的方法，哪怕你发现过去的总结方式总是遗漏重点。时间一长，这种总结方式的缺陷会不断积累，越往后的周报质量越差。
后来有人发现了这个漏洞，提出了Self Gradient Forcing（SGF），允许"写历史"这个动作也接受训练信号的指导，不再是一成不变的。这一下子改善了长视频的稳定性。但论文作者们在用SGF的时候，发现了一个让人意外的现象：有些生成出来的视频，第一帧的画质反而不如SF，明明SGF应该更强才对。
这个反常现象，成了整篇论文的起点。
**两个角色，一套参数，谁来背锅**
要理解这个反常现象，得先搞清楚自回归视频生成里到底在做两件什么事。
第一件事叫"去噪"，就是把一堆带噪声的像素，一步步清理成清晰的画面，这是生成当前这一帧或这一段的核心工作。第二件事叫"写上下文"，就是把刚生成好的干净画面，编码成一种特殊的格式存进缓存里，供后面生成用。
这两件事在大多数模型里，用的是同一套参数。换句话说，同一个神经网络，既要负责"把当前内容画清楚"，又要负责"把这段内容记录得对未来有用"。
论文作者做了一件很细致的事：他们分别测量了这两个角色在训练时产生的梯度方向，看它们是不是朝着同一个方向努力。
梯度：可以理解成"参数应该往哪个方向调整"的指南针指向，梯度方向一致说明两件事的优化目标是协调的,方向相反则说明两件事在互相拖后腿。
结果让人大跌眼镜。作者用t-SNE可视化（一种把高维数据压缩到二维平面方便观察的技术）把"写上下文"和"去噪"产生的梯度画出来，发现它们在注意力模块和前馈网络模块里都呈现出清晰分开的两坨，完全不是混在一起的。进一步计算平均方向的夹角，注意力模块里是104.2度，前馈网络模块里是106.3度，都超过了90度，这意味着两者的平均方向是互相对立的。再看跨越128个提示词、4个去噪时间步、总共512组配对的余弦相似度，全部是负数，没有一个例外。
这意味着什么？意味着"写上下文"和"去噪"这两件事，在同一套参数上拔河，而且几乎每次拔河都是往相反方向使劲。
这就像两口子合开一家店，一个人负责进货，一个人负责卖货，结果两人共用同一个决策权：进货的人想多囤货备战旺季，卖货的人想少囤货加快周转，两种诉求谁也说服不了谁，每次开会决策都在互相抵消对方的努力，最后店铺经营得磕磕绊绊。如果不把决策权分开，两人的合理诉求会一直互相拉扯，谁也做不好自己那部分工作。
这也解释了开头那个反常现象：SGF虽然打通了"写上下文"接受训练信号这条路，但因为两个角色挤在同一套参数里互相拖拽,有时候反而让去噪这个本职工作受了连累，画质不升反降。
**解法：把两件事交给两套参数去做**
既然两个角色在同一套参数上打架，那顺理成章的想法就是，给它们各自配一套参数,互不干扰。
这就是这篇论文提出的核心方法，叫Self Gradient Forcing Plus，简称SGF+。
SGF+：在SGF的基础上，把"写上下文"和"去噪"这两个角色拆分成两套独立参数，一个叫context writer（上下文书写器），一个叫denoiser（去噪器），两者分别初始化自同一个基础模型,但训练过程中各自独立更新。
具体是怎么做的？论文沿用了SGF的两阶段训练流程。第一阶段是"无梯度预演"，模型按正常流程自己生成一段视频，不记录任何梯度，只是把过程中产生的干净画面和带噪声的目标帧记录下来，这一步纯粹是为了拿到一份"自己生成的历史"样本。第二阶段是"可微分重建"，用记录下来的样本重新走一遍计算过程，这次是可以记录梯度的，让未来预测产生的训练信号能够反向传递回"写上下文"这一步，但传递的路径不再经过完整的自回归循环，计算量是可控的。
在SGF里，这第二阶段的计算，上下文书写和去噪共用一套参数，梯度叠加在一起，于是出现了前面说的互相抵消问题。SGF+做的改动很简单，就是把这套共享参数拆成了两套，上下文书写器拿自己的参数接收训练信号，去噪器拿自己的参数接收训练信号，两者在前向传播时依然通过注意力机制互相配合（去噪器要读取上下文书写器产出的缓存），但反向传播更新参数的时候，各走各的路，不再互相拖累。
这就好比前面那对开店的夫妻，后来想通了，干脆分灶吃饭，一个专门管进货，一个专门管销售，两人还是在同一家店里配合经营，进的货依然要卖出去，但各自的决策权彻底独立，谁也不用再为对方的判断妥协。进货的人可以安心研究怎么囤货更划算，卖货的人可以安心研究怎么促销更有效，两边都能把自己的事情做到极致，店铺的整体运转反而顺畅了。
论文里还提供了一份理论分析,从局部优化的角度证明,当两个角色的梯度方向冲突时,参数分离确实能带来更大的下降幅度，这不是拍脑袋的设计，是有数学支撑的。
值得一提的是，这种参数共享带来的方向冲突，并不是训练了一段时间之后才出现的毛病。论文测试了尚未经过任何自回归训练，只做过"标准答案式"教师强制训练(Teacher Forcing，简称TF，就是用真实的历史画面来训练，而不是模型自己生成的历史)的初始模型,发现同样的冲突现象已经存在。50步的扩散时间表里，从第0步（上下文书写，使用干净画面）切换到第1步（去噪，开始处理带噪声的输入）这一瞬间，梯度方向出现了急剧转折，注意力模块和前馈网络模块的平均夹角分别是95.1度和105.1度,同样超过90度。这说明这两个角色从一开始就是"性格不合"的，不是训练过程中才闹掰的。
**效果：不只是稳，是真的更清楚**
说了这么多设计理念，实际效果怎么样？
论文在VBench基准上做了系统评测，覆盖5秒、60秒、240秒三个生成时长，而且分了逐帧生成和逐块生成两种模式。要注意的是，训练的时候用的视频窗口只有5秒，60秒和240秒的测试，相当于让模型做远超训练长度的外推，这是检验长视频稳定性的硬指标。
以240秒逐块生成为例，SGF+在主体一致性上拿到98.21分，背景一致性97.31分，画面闪烁控制在97.57分（这个分数越高说明画面抖动越少），运动流畅度98.63分，美学质量64.74分，成像质量71.39分，几乎全面超过SF和SGF。60秒逐帧生成的场景下，SGF+的主体一致性达到99.08分，这是三种方法里最高的。
这里有个有意思的指标叫Dynamic Degree（动态程度），论文里专门解释了为什么SGF+在这项上反而经常不是最高分。
动态程度：衡量视频画面变化幅度的指标，数值越高理论上代表动作越丰富。但论文发现，画面崩坏、场景突然跳变、人物莫名其妙增多，这些生成失败的情况也会被这个指标误判成"动作丰富"，所以单看这个数字容易被误导。
换句话说，一个总是把杯子打碎的人，动作确实很"丰富"，但这不是我们想要的丰富。SGF+生成的视频画面更稳定、动作更连贯，所以这项指标反而不占优，但这恰恰说明它没有在制造虚假的"动态感"。
论文还做了一个模块级别的消融实验，只在注意力模块做参数分离，或者只在前馈网络模块做参数分离，结果都不如把两个模块都分离的完整方案。这说明注意力模块本身也存在明显的角色冲突，光靠类似专家混合（MoE，一种让不同输入走不同子网络处理的架构设计）那样只在前馈网络层面做区分是不够的，冲突不是某一个模块独有的问题,而是贯穿整个网络结构的。
效率方面，论文给出了实打实的数字。SGF+把生成器的参数量从14亿翻倍到28亿，但因为每个token在前向传播时只用到自己角色对应的那一套参数，实际计算量并不会翻倍。81帧视频的推理时间从SGF的4.962秒变成4.969秒，几乎没差别，推理显存从24.85GB涨到27.96GB。训练这边，每步耗时从11.79秒涨到12.76秒，大约多了8.2%。这个代价,换来前面说的那些画质和稳定性提升，账算下来是划算的。
最让人印象深刻的，是论文标题里提到的那个场景:只用5秒的训练视频，SGF+就能支持连续生成长达24小时的视频，而且不需要额外做"长视频微调"。论文把这个能力叫做"原生长时外推"，意思是这种长时间生成的能力是在有限训练窗口里自然学出来的，不是靠堆更长的训练数据硬磨出来的。
这几个数字放在一起看会更有感觉：训练只看了5秒的内容，却能在24小时的尺度上保持连贯，训练和应用的时间跨度相差了接近17280倍。这就像一个人只学了5秒钟的走路姿势，却能靠这5秒钟的记忆稳稳走完一场马拉松，中途不崴脚、不摔倒。能做到这一点,靠的不是记住了更长的路线,而是把"怎么稳定地迈好每一步"这件事本身学扎实了。
**这篇论文还留下了什么没解决的问题**
论文的作者们也很坦诚，提到了两个值得继续挖的方向。
第一个是世界动作模型（World Action Models，简称WAM，是一种结合视觉生成和动作预测的模型，常用于机器人控制和具身智能场景）。这类模型通常也用教师强制的方式训练，前面提到的梯度冲突在TF初始化阶段就已经存在，那么这个角色分离的思路，是不是也能用在WAM里，让历史画面的表示和动作预测各自独立训练，可能会带来类似的提升。这是一个开放的、有价值的延伸方向。
第二个是轻量化上下文书写器的设想。既然上下文书写和去噪可以用不同参数，那是不是可以让上下文书写器变得更小更高效，专门学习怎么把冗余的历史视频压缩成紧凑的缓存表示，同时保持去噪器不变？如果能做到，缓存占用的显存和计算开销都能降下来，这对于想要支持更长、更多路生成任务的场景会很有吸引力。
论文作者还提到了模型融合（model merging）这类技术，认为未来或许能找到比简单参数分离更精细的方式来协调两个角色的优化，但这部分留给了后续研究。
Q&A
Q1：SGF+是什么？
A：SGF+（Self Gradient Forcing Plus）是一种自回归视频生成训练方法，它把"写上下文"和"去噪"这两个角色拆分成两套独立参数分别训练，解决了它们共用参数时互相拖累的问题，从而提升视频生成的画质和长时间稳定性。
Q2：为什么AI生成的长视频容易画面崩坏？
A：因为自回归生成是一段一段往下写的，每一段都要参考前面生成的内容，前面的误差会被不断继承和放大。论文发现，负责"记录历史"和负责"生成画面"这两个过程如果共用同一套参数，训练信号方向经常相反，进一步加剧了这个问题。
Q3：SGF+只用5秒视频训练，真的能生成24小时视频吗？
A：是的，论文实验显示，SGF+仅用5秒的训练视频窗口，就能支持连续生成长达24小时的视频，且无需额外的长视频微调，这种能力被称为"原生长时外推"。
