你有没有试过用AI生成一段视频，结果连着抽了十几次卡，主角的脸一会儿变形一会儿换人，背景里的字幕莫名其妙飘出个多余的手指？
这不是你运气差。这是视频扩散模型的天生毛病。
现在主流的视频生成技术，本质上是一场概率游戏。你给它一句话，它在噪声里反复猜测、修正，最终吐出一段画面。整个过程是随机的，这意味着即便提示词写得再精确，你也无法保证第一次就拿到想要的结果，往往需要生成几十次去赌一个满意的版本。而如果你想生成长一点的视频，比如超过十几秒，问题会更明显：角色的衣服颜色会悄悄漂移，场景里的物体位置会莫名对不上，前后两个镜头看起来像是两个不同的世界。
这篇论文要解决的，正是这个"看天吃饭"的问题。研究团队给出的答案是LynnReal-Omni，一个把"video diffusion的画面表现力"和"agent（智能体）的精确控制力"捏合到一起的系统。
**智能体*：这里指能够自主完成一系列任务的AI程序，比如它可以先写代码搭建一个3D场景，渲染出画面，再把这个画面交给视频模型去生成最终效果。
为什么要把两者绑在一起？因为它们各自有明显的短板。视频扩散模型画面好看，但控制不住细节；智能体能精确控制场景结构和运动轨迹，但它生成不出高保真的人物长相和材质质感。一个负责"讲清楚要拍什么"，一个负责"拍出来好看"，两者配合，才能既稳又好。
当"拍视频"这件事本身就是个难题
我们先说清楚，在这篇论文出现之前，做视频生成这件事到底难在哪儿。
第一个难题是任务碎片化。想做文字生成视频、图片生成视频、参考图控制生成、结构化控制生成、视频编辑、长视频生成，过去往往需要六七个不同的模型分别处理，每个模型有自己的接口和习惯，拼在一起使用极其麻烦，出错概率也随之叠加。
第二个难题是长视频会"失忆"。生成的视频一旦拉长，角色的长相、场景的光线、物体的位置都容易发生漂移，业内管这个叫"appearance drift"。
**appearance drift（外观漂移）*：指视频在时间维度上拉长后，画面中人物或物体的外观特征逐渐偏离最初设定的现象。
第三个难题是评测标准跟不上。像VBench、VideoPhy这类已有的评测体系，各自只覆盖了视频质量的一部分维度，没有一个协议能同时兼顾多镜头连贯性、物理合理性、动作绑定准确性和音频配合这些复杂需求。
第四个难题最反直觉：大家一直以为生成视频慢是因为去噪计算太重，结果论文里明确指出，一旦用了少步蒸馏技术把去噪步骤压缩到三四步，真正拖慢整个流程的反而变成了解码器，也就是把潜在特征还原成真实画面的那一步。
这四个问题堆在一起，逼出了LynnReal-Omni这套系统。它用一个320亿参数的共享多模态扩散Transformer作为底座，统一处理文生视频、图像条件生成、参考引导生成、结构化控制、编辑、视频修复和长视频生成这七件事，还额外训练了一个270亿参数的Flash版本专门用来做实时渲染。
数据从哪来：一场大浪淘沙的筛选
想让模型学会"听懂指令、画对细节"，第一步得有干净的数据。这篇论文花了大量篇幅讲数据处理管线，最后的结果有点吓人：经过全部处理流程后，最终留下的高质量数据只占原始素材存储体积的约0.6%。
也就是说，收集来的视频，超过99%都被筛掉了。
这套筛选流程分成六个阶段。先用TransNetV2检测镜头切换点，把长视频切成一个个独立镜头，同时清理掉广告、水印、字幕这些视觉污染物。
**TransNetV2*：一种用于检测视频镜头切换边界的深度学习模型，能判断画面在哪一帧发生了真正的镜头切换。
这里有个细节值得展开说。检测镜头边界时，团队故意把阈值设得很低，也就是宁可多报也不漏报，然后再用色彩分布、亮度、边缘结构这些线索去比对候选切点两边的画面，把闪光灯、镜头抖动、快速摇镜这些"假切换"过滤掉。这就像你在整理一大盒旧照片，先把所有看起来可能是同一批拍的挑出来，再仔细核对拍摄时间和场景，把真正连续的一组挑出来单独归档，其余的宁可先留着待定也不轻易扔掉，因为一旦扔错了，后面就没法再补救。
如果反过来，一开始就设置严格的阈值只挑"确定无疑"的镜头切点，那么很多真实的镜头切换会被漏掉，导致一段连续叙事被错误地当成同一个镜头处理，模型学到的"什么是一个完整镜头"这个概念就会是错的。
接下来的阶段依次是场景分组与主体识别、内容质量筛选、精细化标注、生成高质量多镜头数据、以及构建专门的视频编辑数据集。
其中主体识别这一步挺有意思。团队直接用Qwen3.5-122B-A10B这个多模态大模型去做人物和物体的跨镜头匹配，而不是像业内一些做法那样搭一套复杂的专用模型流水线。
**Qwen3.5-122B-A10B*：通义千问系列的一款大规模多模态语言模型，具备对图像和视频内容进行理解、定位、描述的能力。
这个选择背后的逻辑是，与其用五六个专门的小模型分别做人脸识别、服装匹配、物体跟踪再手动拼起来，不如直接用一个具备全局理解能力的大模型，让它同时看到整段视频的叙事上下文和每个镜头里主体的外观细节，靠"脸、衣服、形状、颜色、材质"这些稳定特征去做跨镜头身份关联，而不是靠角色一时的动作或所处位置去猜。团队的对比实验显示，这种做法比拼装专用模型的流水线更准。
一个模型如何同时干七件事：原生多模态骨干网络
LynnReal-Omni的标准版模型有50层Transformer结构，隐藏维度5376，56个注意力头，每个头128维，前馈网络宽度14336。视频潜变量有24个通道，文本条件维度5120。
这些数字听起来枯燥，但背后的设计思路值得说说。这个模型没有为每个任务单独训练一套参数，而是用同一套骨干网络处理所有任务，靠"打包不同的输入格式"来区分任务类型。
具体做法是，每个任务都会给输入打上模态标签、行索引、三维旋转位置编码和逐行噪声时间。文本和视觉上下文先被编码，然后送进同一个去噪器，一次前向传播就同时预测出视频和音频的速度场（这里"速度"是扩散模型里的技术概念，指从噪声到干净数据的变化方向）。
**去噪器*：扩散模型的核心组件，负责在生成过程中逐步把随机噪声"雕刻"成有意义的画面内容。
这套设计里有个关键的数学约束。当模型需要参考一张图片或一段姿态视频来生成目标画面时，参考内容和目标内容的时间坐标之间必须保持一个固定的正偏移量，用公式表示就是目标的时间坐标减去参考的时间坐标恒等于一个大于零的常数。
这个约束是干什么用的？它相当于给"参考素材"和"要生成的内容"划了一条清晰的边界线。如果不设这个偏移，让两者的绝对时间坐标完全相同，模型就分不清哪个是你提供的样板、哪个是它该自己创作的部分，这就好比你请一个画师照着照片画肖像，结果画师把照片本身当成了自己正在画的画布去涂改，参考和创作的角色彻底乱套。有了这个正偏移量，模型才能明确知道"这部分是别人给我的参照，那部分才是我要动笔的地方"。
论文里还提到一个细节，图像条件有两种接口形式。一种是把参考图放进有序的图片参考段落里，靠开场指令去调用；另一种是把首帧和可选的尾帧直接编码进目标序列的关键帧分区里。团队做了个测试，用一张海港的照片去驱动生成，结果模型在保留原始场景布局的前提下让画面动了起来，这说明这套接口设计确实能在"保留输入"和"生成新内容"之间找到平衡，但论文也很诚实地说明，这不代表像素级的精确复刻。
训练的核心难题：怎么让模型又快又准
训练这类模型用的是"流匹配"（flow matching）思路，核心公式是把干净的目标数据和随机噪声按时间比例混合，模型学习预测两者之间的"速度"差异。
视频和音频的噪声调度并不共用同一个时钟。论文里给出了具体数字：在原生768P配置下，视频分支在四次去噪评估中对应的干净时间大致是0、0.027、0.0769、0.2，而音频对应的时间是0、0.1、0.25、0.5。也就是说，虽然视频和音频共享同一次网络前向计算，但它们各自感知到的"这一步走了多远"是不一样的。
这个设计背后的道理是，视频和音频虽然要同步呈现，但它们的信息密度和生成难度完全不同。如果强行让两者用完全一样的噪声进度表，要么会让音频生成得过于潦草，要么会让视频的计算资源被不必要地浪费在音频身上。这就好比两个人一起装修房子，一个人刷墙一个人铺地板，虽然是同一个工期截止日，但两人的施工节奏表完全可以不同步，只要最后同时完工交付就行。
为了让标准版模型只用四次去噪评估就能出结果，团队用了轨迹分布匹配技术做少步蒸馏。
**分布匹配蒸馏*：一种让"学生模型"通过少数几步计算就能模仿"教师模型"多步计算效果的训练技术，核心思路是让两者生成的数据分布尽量接近，而不是逐像素对齐。
训练过程中用了一个冻结的教师模型和一个单独训练的评判模型（critic），后者负责在学生模型生成的终点附近评估噪声情况。为了改善生成内容的动态表现，团队还引入了Reward Forcing这篇工作里提出的动态奖励机制，专门给视频部分的损失函数做加权，音频部分则用固定权重，因为奖励模型本身不具备音频理解能力。
Flash版本更进一步，只保留50层里的42层，去噪评估次数压到三次。它还用了一个巧妙的空间token压缩策略：前两层Transformer处理完整的token序列以保证多模态信息尽早融合，中间26层对视频token做2倍空间降采样（保留边界行列以维持边缘信息），文本和音频token则始终保持不压缩，最后14层再把所有token还原融合。这一路省下来的计算量，主要体现在token序列长度从"视频token数加文本token数加音频token数"降到大约"四分之一视频token数加文本token数加音频token数"，直接压缩了中间层的注意力和前馈计算开销。
这套压缩策略有个反直觉的地方，就是它没有简单粗暴地把中间部分的计算量砍掉，而是用一个残差连接把被压缩掉的空间细节"补"回来：给每一个被跳过的视频token，分配它在同一帧里最近的那个被保留token的特征更新。这就好比开会时人太多没法让每个人都发言，会议组织者先让代表发言讨论出结论，散会后再把结论传达给没参会的人，让他们跟上进度，而不是干脆让那部分人的意见完全消失。
长视频生成：怎么记住十分钟前发生的事
长视频最大的敌人是"忘性"。生成到第五分钟的时候，模型可能已经不记得第一分钟里角色穿的是什么颜色的衣服了。
LynnReal-Omni用了一个分块生成加"有边界的历史记忆"策略来解决这个问题。
具体来说，视频按固定长度分块生成，每次生成17帧新画面。为了让相邻两块之间衔接自然，上一块最后一帧会被当作一个共享边界帧，它的潜变量在生成新块时保持固定不变，模型基于这个固定帧去预测5帧未来内容，联合解码后再把重复的边界帧删掉。
更巧妙的是历史记忆的存储方式。最早的一帧保留完整空间分辨率，最近的两帧用步长2采样（相当于降低一半分辨率存储），再往前最多8帧用步长4采样（分辨率降得更低）。这样一来，无论视频生成到多长，记忆占用的token数量都不会超过两帧完整分辨率的画面，注意力计算成本因此和视频长度完全脱钩。
这个设计其实是在模仿人类记忆的规律。你回忆昨天发生的事情，细节清清楚楚；回忆一个月前，大概轮廓还在，具体色彩和纹理早模糊了；回忆一年前，可能只剩下一个印象。如果非要让模型对十分钟前的每一帧都保持像素级的清晰记忆，存储和计算成本会随视频长度线性甚至更快地增长，那生成再长的视频都会被内存卡死。允许远期记忆模糊化，恰恰是让"长期记忆"这件事在工程上真正可行的关键让步。
解码器瓶颈：被忽视的那一半时间
前面提到过，少步蒸馏把去噪计算压缩到极致后，解码器反倒成了新的拖油瓶。论文给出的解决方案是蒸馏出一个更浅的学生解码器，把原本36层的教师解码器压缩到26层，同时保持隐藏维度2048和4倍的前馈扩展比例不变。
这个蒸馏过程用了多重监督信号：像素级的L1和L2重建损失、多尺度和边缘梯度等结构正则化项、针对解码器最后三层的特征蒸馏、DINOv2特征提供的感知损失，还有一个很有意思的"后验一致性"约束，要求教师和学生的重建结果经过同一个冻结编码器重新编码后，得到的概率分布尽量接近。
**DINOv2*：Meta AI开发的一种自监督视觉特征提取模型，不需要人工标注就能学到通用的图像特征表示，常被用作感知质量评估的参照标准。
为什么要专门加这个"后验一致性"约束？因为单纯让学生模型的像素输出去逼近教师模型的像素输出，容易学出一种表面相似但内部表征其实跑偏的结果。加上这层约束相当于要求学生解码器"不仅要画得像，画出来的东西被重新审视时也得经得起推敲"，这就像老师批改作文，不能只看学生抄没抄对最后一句结论，还得看整篇文章的逻辑是不是也站得住脚。
最终效果体现在推理速度上。论文给出的数据是，在一块H100显卡上，标准模型生成并解码一段22帧的540p视频需要843毫秒，而Flash版本只需要377毫秒。如果拆开来看各个优化环节的贡献，算子融合让标准模型的生成耗时降低了43.6%，Flash模型降低了31.6%；轻量解码器把解码耗时从469毫秒降到340毫秒。
评测怎么做：MSAVP的野心
现有的评测体系覆盖不全，团队干脆自己造了一套，叫MSAVP（MultiShot-AV-Physics Bench）。这套基准包含100条提示词、20个正式报告的评测指标，专门盯着多镜头一致性、物理合理性和音画配合这几个过去容易被忽略的维度。
这100条提示词里，22条要求配乐，54条是单镜头，46条是多镜头（涉及两到六个镜头不等），覆盖了99个重叠的主题或能力标签、95个不同的主题类别，从日常活动到科幻场景应有尽有。
评测流程分成五步，第一步是让GPT-6 Astra在不看任何生成视频的情况下，先根据文本提示词生成一套固定的评分清单，图生视频任务只允许追加"从开场图片里能直接看到"的约束条件，不能重新定义动作绑定或事件逻辑。这一步的目的是确保所有参赛模型接受的是同一张考卷，不能因为某个模型表现好就临时给它降低难度，也不能因为某个模型表现差就临时加题刁难。
第二步收集专家证据，比如用TransNetV2检测镜头边界、用Qwen3-Omni模型分析音轨里到底有什么声音。第三步跑一个"提示词盲测"评委，只让它看视频和镜头切点，不告诉它原始提示词是什么，专门评估动作在镜头切换前后是否连贯。第四步才是正式打分，把前面所有证据一起交给主评委模型。第五步做机械化校验，避免总分被凭空篡改。
这套流程最终把20个指标归到六个能力家族：提示词保真度、事件执行、视觉质量、多镜头连贯性、世界合理性、音频对齐，每个家族权重相等，最后取六个家族分数的平均值作为总分。
结果显示，在文生视频任务里，Seedance 2.0拿到了最高总分79.39，MiniMax-H3以79.27紧随其后，LynnReal-Omni是77.76。在图生视频任务里，MiniMax-H3以80.65领先，LynnReal-Omni拿到79.20，位居第二。
|模式|模型|提示保真|事件执行|视觉质量|多镜头|世界合理性|音频|总分|
|---|---|---|---|---|---|---|---|---|
|T2V|Seedance 2.0|83.79|74.62|61.53|84.50|87.87|84.01|**79.39**|
|T2V|MiniMax-H3|82.06|73.52|59.13|**86.75**|**88.79**|**85.35**|79.27|
|T2V|LynnReal-Omni|83.69|72.32|59.01|83.25|86.00|82.26|77.76|
|I2V|MiniMax-H3|85.16|74.44|61.53|**87.36**|**91.32**|84.11|**80.65**|
|I2V|LynnReal-Omni|**86.55**|**74.73**|**61.16**|81.81|89.52|81.44|79.20|
值得一提的是，作为一个定位为实时世界模型的系统，LynnReal-Omni在图生视频的提示词保真度上反而是第一名，尤其在实体保真度、世界状态一致性、美学质量和成像质量这几项上表现突出。这说明它在追求低延迟的同时，并没有把指令遵循能力和画面质量整个牺牲掉。
修复视频瑕疵和智能体生成的3D场景
除了正向生成，LynnReal-Omni还能干一件挺实用的事：修复已经生成出来但有瑕疵的视频。论文里给了一个具体案例，一段蜡烛视频出现了亮斑噪点、背景网格图案和竖向渲染伪影，团队用同一套标准DiT模型，对120帧画面逐帧独立修复，每帧用四次去噪评估，总共480次评估。修复后的画面网格伪影和噪点明显减少，但论文也坦诚地指出，因为每帧编辑是独立进行的，没有显式的跨帧一致性约束，这种做法在时序稳定性上依然是个局限。
另一个值得说的方向是智能体驱动的3D场景生成。团队让智能体根据参考图片和任务描述，自己写代码搭建可执行的3D场景，包括几何结构、材质、灯光、相机轨迹，甚至游戏里的碰撞规则和状态更新逻辑，然后把渲染出来的画面或录制的游戏操作过程，作为控制信号交给视频模型去生成最终的高保真画面。
这套流程听起来有点像请一个懂建模的助理先做一版低精度的分镜草稿，把镜头运动、人物走位、物体交互全部规划清楚，然后再请一个专业画师照着这份草稿去精修每一帧的画面质感。草稿负责"对不对"，画师负责"美不美"，两者分工明确，谁也不用越俎代庖。
写在后面
读完这篇论文，最触动我的其实不是那些精确到毫秒的性能数字，而是一个更朴素的判断：单靠让模型变得更大更强，解决不了视频生成"不听话"的问题，真正的出路是把生成过程拆成"谁来决定内容、谁来渲染画面"这两个角色，分别交给最擅长的系统去做。
这让我想起一件事。智能体这两年被讨论最多的场景是写代码、查资料、订机票，很少有人把它和视频生成绑在一起想。但这篇论文里，智能体的角色其实特别朴素，它不负责让画面变美，它只负责把"这个场景该长什么样、相机该怎么运动、物体之间该怎么碰撞"这些原本靠视频模型自己瞎猜的东西，提前用代码写死。这种分工思路，某种程度上像是把过去"让AI一步到位画出一切"的野心，收缩成了"让AI先搭骨架，再让另一个AI去填肉"的务实路线。
论文里那段蜡烛修复的实验也挺有意思，480次去噪评估换来的是"网格伪影少了，但闪烁和残留噪点依然存在"，团队没有把这个结果包装成完美方案，而是老老实实写出了局限。这种态度在满屏都是"性能提升XX%"的技术报告里，反而显得有点稀罕。
一个自然的追问是，如果智能体搭场景这件事本身也开始出错，比如它算错了一个碰撞检测，或者材质贴反了方向，视频模型会不会忠实地把这个错误也渲染得极其逼真，从而让错误变得更难被发现？毕竟画面越精致，人眼就越容易信以为真。
Q&A
Q1：LynnReal-Omni是什么？
A：LynnReal-Omni是一个基于320亿参数共享多模态扩散Transformer的原生多模态视频生成框架，能统一处理文生视频、图像条件生成、参考引导生成、结构化控制、编辑和长视频生成等多种任务，还支持3D渲染图和游戏录像等异构视觉输入。
Q2：LynnReal-Omni-Flash和标准版有什么区别？
A：Flash是专门为实时渲染训练的270亿参数版本，只保留50层Transformer中的42层，去噪评估次数从四次压到三次，加上轻量解码器等优化，生成并解码一段22帧540p视频只需377毫秒，比标准版的843毫秒快了一倍多。
Q3：MSAVP评测基准主要考察什么？
A：MSAVP是论文提出的多镜头音视频物理评测基准，包含100条提示词和20个正式指标，重点考察指令遵循、跨镜头一致性、物理合理性和音画配合这些容易被现有评测体系忽略的维度，采用智能体VLM进行结构化打分。
