有一个问题，可能你从没想过：如果让一个AI去预测一辆车接下来三秒钟会往哪开，它到底应该"看见"什么？
是每一个像素的颜色变化吗？还是更抽象一点的东西，比如"有辆车、正在左转、旁边有个行人"这样的语义信息？
这个问题看似简单，但背后藏着一整套世界模型（world model）设计哲学的分歧。而这篇来自 valeo.ai 和雅典研究中心团队的论文，恰好就是在这个岔路口做了一次大胆的尝试。
**预测未来这件事，到底卡在哪**
自动驾驶、机器人这些系统要想安全地做决策，必须先能预测未来会发生什么。这件事听起来理所当然，但实现起来一直很别扭。
最早的思路是直接在像素层面预测，用扩散模型生成下一帧的RGB图像。
**扩散模型**：一种通过逐步去除噪声来生成图像或视频的生成式模型，近年来在图像和视频生成领域非常流行。
这个思路的问题在于，像素级别的预测会被大量和决策无关的细节绑架。比如预测一辆车三秒后的位置，模型却要花大量精力去纠结树叶怎么摇晃、光影怎么变化。VISTA这个25亿参数、用1740小时驾驶视频训练出来的大模型，就是这条路线的代表作，但在这篇论文的实验里，它的语义分割准确率只有64.9%，比起真实的"预言家"基准（Oracle，直接用真实未来帧，准确率77.1%）差了12个百分点还多。
于是研究者们把目光转向了视觉基础模型（Vision Foundation Model，VFM）的特征空间。
**DINOv2**：Meta开发的一种自监督视觉基础模型，不需要人工标注就能学到丰富的图像语义特征，这些特征对物体的类别、形状、空间结构都有较强的表达能力。
DINOv2提取出来的特征，天然就带有语义信息，比纯像素更接近"车在哪、人在哪、路在哪"这种决策相关的抽象层面。于是这几年一批工作（DINO-Foresight、DINO-WM、DINO-world等）都转向了在特征空间里做预测，效果确实比纯像素预测好。
但这里出现了一个新麻烦。VFM提取出来的特征维度特别高，动辄几千维，直接在上面做生成建模计算量太大。于是大家普遍采用一种两阶段流程：先训练一个自编码器（autoencoder）或者用PCA把高维特征压缩成低维的"潜在表示"（latent），然后冻结这个压缩器，单独训练一个预测器在这个固定的潜在空间里学习时间演化规律。
**自编码器**：一种神经网络结构，包含编码器和解码器两部分，编码器把输入压缩成低维表示，解码器再把这个低维表示还原回原始输入，训练目标是让还原结果尽可能接近原始输入。
**潜在空间（latent space）**：指经过压缩编码后的特征所在的低维空间，相比原始数据空间维度更小，但理论上保留了关键信息。
问题就出在"冻结"这两个字上。压缩器只管把特征压得好不好还原，它压根不知道后面那个预测器需要什么样的空间结构。这就好比你要给一个学生规划十年后的职业发展路径，但负责整理他档案的人完全不了解这个规划任务，只管把档案按自己的习惯归类装订。等真正做规划的人拿到档案，才发现关键信息要么被揉碎了，要么用的分类方式完全不利于后续推演。如果不这样分工，而是让档案整理和职业规划从一开始就配合着来，会不会更顺畅？这篇论文想验证的，正是这个直觉。
**压缩和预测各管各的，会出什么问题**
这篇论文提出的核心方案叫 **Latent-Foresight**，中文可以理解为"潜在空间中的未雨绸缪"。它最大的特点是把压缩器（tokenizer）和预测器（flow-based predictor）放在一起从头到尾联合训练，而不是先训一个再训另一个。
**Flow Matching（流匹配）**：一种新兴的生成模型训练范式，核心思想是学习一个从噪声到数据的连续"流动"路径，相比传统扩散模型通常训练更稳定、采样效率更高。
这个想法听起来理所当然，联合训练肯定比分开训练好吧？但论文作者很坦率地指出，这事没那么容易。他们在实验里发现，如果简单粗暴地把两个模块绑在一起训练，模型会找到一个"捷径"：让潜在表示直接坍缩成一个几乎不变的常数向量。这样一来，预测误差自然趋近于零，因为预测一个恒定不变的东西太容易了，但这种表示完全没有保留任何有用的信息。
这就好比你要求两个团队互相配合完成任务，一个负责记录信息，一个负责根据记录做预测，但KPI只考核预测的准确率。最快拿到满分的办法是什么？记录团队干脆每次都写同一句话，比如"明天和今天一样"，这样预测团队永远能猜对，但这份记录对任何实际决策都没用。如果不设计额外的约束机制去防止这种"合谋摸鱼"，联合训练就会直接失败。这正是论文里反复强调的"潜在坍缩"（latent collapse）问题。
为了防止这种坍缩，作者们设计了几个关键的技术手段，接下来逐一拆解。
**第一招：切断梯度，防止"抄近路"**
在流匹配训练中，模型需要学习从一个噪声和目标数据的插值点，预测出真实的目标潜在表示。论文采用了JiT（Li & He, 2025）提出的x-prediction参数化方式，让预测器直接估计干净的潜在表示，而不是传统扩散模型里更常见的噪声预测方式。
**x-prediction（x预测）**：一种生成模型参数化方式，让模型直接预测"干净"的目标数据，而不是预测噪声或者速度场，这种方式在高维生成任务里被发现更稳定。
但这里的关键设计在于，论文对计算流匹配目标所用的那个"真实未来潜在表示"，以及插值得到的"带噪声输入"，都做了停止梯度（stop-gradient）操作。
**停止梯度（stop-gradient）**：一种训练技巧，让某个张量在反向传播时不传递梯度，也就是说这个分支的数值仍然参与前向计算，但不会反过来影响参数更新。
换句话说，预测目标和带噪声的输入都被"冻住"了，梯度只能通过上下文潜在表示这一条路径流回编码器。这个设计直接堵死了前面说的"坍缩捷径"：如果编码器想让潜在表示坍缩成常数来降低预测损失，它没办法通过修改目标分支来作弊，因为那条路径根本不接收梯度信号。
实验数据很直接地证明了这个设计的必要性：如果去掉对目标潜在表示的停止梯度，训练直接崩溃（论文原文用的词是"Training Collapse"）。而如果去掉对带噪声输入的停止梯度，训练倒是能稳定进行，但预测性能明显下降，移动物体的mIoU（一种衡量分割准确度的指标）短期预测从64.10掉到61.47，中期预测从53.86掉到51.33。
这就好比考试的时候，如果允许学生在写答案的同时偷偷修改题目本身，那这场考试就完全失去意义了。停止梯度的作用，就是把"题目"锁死，让学生（编码器）只能老老实实靠自己的实际能力去答题，而不能通过篡改评分标准来蒙混过关。
**第二招：给潜在空间做"标准化体检"**
流匹配训练需要在真实数据和高斯噪声之间做插值，这要求两者的数值尺度要匹配。如果潜在表示的数值范围忽大忽小，要么噪声完全压制了信号，要么信号完全掩盖了噪声，插值过程就失去意义。
**批归一化（Batch Normalization）**：一种神经网络中常用的归一化技术，通过对一批数据计算均值和方差，把输出调整为零均值、单位方差的分布，从而稳定训练过程。
论文最终选择了不带仿射参数的批归一化，强制让编码器输出的潜在表示保持零均值、单位方差。作者们也尝试了其他方案做对比，比如层归一化（Layer Normalization）、KL散度正则化、以及SIGReg正则化。结果显示，完全不做归一化会导致训练直接崩溃；用KL正则化会让重建和预测性能都大幅下降（移动物体短期预测从64.10掉到61.31）；层归一化虽然重建质量还可以，但在更长的预测周期上性能会打折扣；SIGReg的表现和批归一化基本持平。
这个归一化操作，有点像给两个即将合并的团队先统一一下"度量衡"。如果一个团队用公斤计算，另一个团队用磅计算，哪怕两边各自的数据都准确无误，一旦强行叠加起来，结果也会乱成一团。批归一化做的事情，就是先把潜在空间的"量纲"统一好，确保后面噪声和信号能在同一个尺度上公平地混合，否则插值这一步从一开始就是错的。
**第三招：补一份"重建作业"，缩小训练和测试的落差**
除了主干的重建损失（Lrecon，衡量编码器解码器重建原始特征的能力）和流匹配损失（LFM），论文还加了一个辅助重建损失（Laux-recon），专门作用在预测出来的未来潜在表示上，要求它经过解码器还原后也要接近真实的未来特征。
这个设计是为了解决一个很现实的"训练测试不一致"问题：训练阶段，解码器看到的输入是编码器真实编码出来的潜在表示；但测试阶段，下游任务拿到的其实是预测器生成出来的潜在表示，这两者未必完全一致。消融实验显示，去掉这个辅助损失之后，预测性能确实会下降，尤其是在更长的预测周期上（移动物体中期预测mIoU从53.86掉到53.36，短期从64.10掉到63.43）。
这就好比一个翻译培训班，平时上课批改作业用的都是学生自己写的标准格式文章，但最后考试时，学生要面对的是别人临场生成、带各种口语瑕疵的真实对话。如果培训过程中完全不涉及对这种"非标准输入"的适应性训练，学生到了考场上，表现自然会打折扣。辅助重建损失，就是提前让解码器练习去理解"预测器生成的、可能不那么完美的"潜在表示，缩小这种训练和实战之间的落差。
**瓶颈维度和噪声调度：两个容易被忽略的细节**
除了上面三个核心设计，论文还做了两组很细致的消融实验。
一组是关于潜在空间压缩到多少维合适（bottleneck dimensionality）。实验测试了从32维到1152维的不同选择，结果发现重建质量会随维度增加单调上升，但预测性能却在128到512维这个区间表现最好，继续增大到1152维反而会让中期预测的mIoU明显下降（从53.42-54.24的区间掉到51.99）。这说明压缩得太狠会丢信息，压缩得不够狠又会引入冗余，让预测任务变得更难，论文最终选择256维作为默认设置。
另一组是关于训练时噪声水平的采样分布（noise level distribution）。流匹配训练需要在不同噪声强度下采样训练样本，论文比较了均匀采样和logit-normal分布（一种让采样更集中在某个区间的分布）。结果发现，把采样重心偏向更高噪声水平（参数μ=-2），相比默认设置（μ=-0.8）和均匀采样，预测性能明显更好，进一步把标准差调大到1.5还能继续提升中期预测表现。
这两组实验传递的信息其实挺一致：无论是压缩维度还是噪声调度，都存在一个"不多不少刚刚好"的甜蜜点，而这个点往往和直觉（越大越好、越均匀越公平）是相反的。
**真刀真枪的效果：横评几个数据集**
说了这么多设计细节，实际效果到底如何？
论文在三个数据集上做了系统评测：Cityscapes和nuScenes这两个真实驾驶场景数据集，以及Kubric这个合成的多物体运动数据集。
**Cityscapes**：一个经典的城市驾驶场景语义分割数据集，包含德国多个城市的街景视频。
**nuScenes**：另一个大规模自动驾驶数据集，场景相对更静态，但覆盖范围更广。
在高分辨率（448×896）的Cityscapes评测中，Latent-Foresight 在语义分割、深度估计、表面法线估计三项任务、短期和中期两个预测周期上，全面超过了此前的判别式方法DINO-Foresight，以及同期的DeltaTok方法。更关键的是，扩大训练数据规模后的Latent-Foresight+版本，在所有指标上都进一步提升，中期语义分割mIoU达到63.3，比DINO-Foresight的59.8高出了3.5个百分点。
在nuScenes上，论文测试了更长的预测周期，从中期（9帧，0.75秒）一直到"更长期"（27帧，2.25秒）。即使在最长的2.25秒预测窗口上，Latent-Foresight依然保持领先，深度预测的δ1准确率达到72.0%，而对照的两阶段基线只有68.2%。更值得注意的是，论文还测试了零样本泛化能力，也就是只在Cityscapes上训练，直接拿到nuScenes上测试，结果依然明显优于判别式基线，说明联合学习出来的潜在表示具备一定的跨数据集迁移能力。
在Kubric合成数据集上，论文和VFMF（一种同类的两阶段流匹配方法）做了直接对比。VFMF需要生成32条轨迹再取平均才能达到比较好的效果，而Latent-Foresight只需要一次生成，8步预测的前景IoU就达到63.47，超过了VFMF 32次生成的62.07，计算量却小得多。
表1（原文）里有个细节很能说明问题：那个2.5亿参数的像素级生成模型VISTA，尽管规模比本文方法大得多，训练数据也丰富得多，但在所有任务上的表现都明显落后于语义特征预测路线。这其实印证了开头那个问题的答案：预测未来，关键不在于模型多大，而在于你让模型去预测什么样的表示。
**不止是性能提升：一次训练范式的简化**
除了各项指标的提升，这篇论文还有一个容易被低估的贡献，就是训练流程本身的简化。
两阶段方法在适配到更高分辨率时，需要先单独微调自编码器，再单独微调预测器，流程繁琐。而端到端训练天然就不存在这个问题，一次训练搞定所有模块的高分辨率适配。论文也明确提到，这正是他们认为端到端范式相比传统解耦管线更简洁有效的原因之一。
**写在后面**
读完这篇论文，我最大的感触是，所谓"端到端"这个听起来很朴素的想法，真正落地的时候，细节的魔鬼程度远超想象。停止梯度放在哪里、归一化用哪种、辅助损失要不要加，每一个看似微小的选择，背后都对应着一次训练崩溃或者性能明显下滑的真实教训。论文里那句"Training Collapse"反复出现在消融表格里，某种意义上比正文的论述更有说服力，它直白地告诉你：这条路上有多少个坑。
还有一个细节值得单独提一下，论文里提到瓶颈维度在256维附近表现最好，继续增大反而会损害预测性能，哪怕重建质量还在小幅上升。这其实是一个挺反直觉的现象：我们通常觉得保留的信息越多越好，但对于"预测未来"这个任务来说，信息太丰富反而可能引入了大量和动态规律无关的噪声，让预测器更难抓住真正有用的时间演化模式。这让我联想到人类做决策时的"信息过载"问题，有时候删掉一些细节，反而能让人更专注于抓住关键脉络。
这篇论文显然也没有把所有问题都解决掉。目前的自编码器设计依然是轻量级的，空间token数量压缩方面还有很大空间；而且目前的框架专注于单步预测，多步联合建模（比如一次预测好几帧而不是自回归逐帧预测）还是个开放问题。如果未来真的能在一次前向传播里同时生成未来一整段的轨迹，会不会进一步改变自动驾驶系统的规划方式？这个问题,留给继续读下去的人。
Q&A
Q1：Latent-Foresight是什么？
A：Latent-Foresight是一个端到端的世界模型训练框架，它把视觉特征压缩器（tokenizer）和基于流匹配的未来预测器联合训练，而不是像传统方法那样分两个阶段分开训练，目的是让潜在表示天然适合做时间预测。
Q2：Latent-Foresight相比两阶段方法有什么优势？
A：在语义分割、深度估计、表面法线估计等多个任务和多个预测周期上，Latent-Foresight都明显优于传统两阶段方法，尤其在高分辨率适配和长周期预测场景下优势更明显，同时训练流程也更简单，不需要分别微调压缩器和预测器。
Q3：联合训练压缩器和预测器为什么容易失败？
A：如果不加约束直接联合训练，模型容易找到捷径，让潜在表示坍缩成几乎不变的常数向量，这样预测误差很低但表示完全没用。论文通过停止梯度、潜在空间归一化、辅助重建损失等设计来防止这种坍缩。
