2023 年到现在,几乎所有主流的多模态大模型都在用同一套配方训练:先拿海量图文对训练一个"投影器",把视觉特征对齐到语言模型能理解的空间,然后再做联合训练。LLaVA 这么做,Molmo 这么做,InternVL 也这么做。
但奇怪的是,没人真正说清楚这第一步到底在干什么。
更奇怪的是,不同团队的实验结论还互相矛盾。有的研究说这一步可以直接跳过,效果不受影响;有的研究说把训练数据从几十万扩大到 250 万对,效果明显变好;还有研究说分辨率和数据配比才是关键,投影器本身无所谓。
这就像几个工程师在争论一座桥的某个承重结构到底有没有用,有人说拆了桥照样稳,有人说必须用更粗的钢筋,还有人说钢筋粗细根本不影响。听起来是三个互相打架的结论,但来自瑞士洛桑联邦理工(EPFL)等机构的研究者们发现,这三种说法其实都对,只是大家都只看到了大象的一部分。
投影器*:多模态大模型里连接视觉编码器和语言模型的一个小模块,通常是一两层的神经网络,负责把图像特征"翻译"成语言模型能读懂的格式。
这篇论文把这头大象的全貌画了出来,并且顺手提出了一个完全不需要训练数据、不需要梯度下降,只靠统计数字就能构建出投影器的方法,叫 PORTAL。
训练数据只用十分之一,效果几乎不变
研究者们做的第一件事很朴素:既然大家都在争投影器训练需要多少数据,那就实际测一遍。
他们用了 LLaVA 1.5 的标准配置,视觉编码器是 CLIP,语言模型用了稍小的 MobileLLaMA 1.4B(方便跑完 11 个不同数据比例的实验),训练数据是经典的 LCS-558k 图文对数据集。然后他们把这 55.8 万对图文数据切成不同比例,从 10% 一直加到 100%,每个比例都单独训练一遍投影器,再接上同样的指令微调流程,最后在 16 个基准测试上打分。
结果让人意外:只用 10% 到 20% 的数据,就已经拿到了几乎全部的性能提升。从 30% 往后,曲线基本就是一条平线了。
这意味着什么?意味着如果你把投影器训练想象成装修房子打地基,大家以为地基越厚越稳,结果发现地基厚度到了某个点之后,再加水泥对房子的稳固程度几乎没有任何帮助,真正起作用的是上层的框架搭建(也就是后续的联合训练阶段)。如果不做这个对比实验,团队可能会一直往这个阶段里砸数据砸算力,却不知道边际收益早就归零了。
研究者们还换了个更大的数据集 ShareGPT-1.2M 再测一遍,这个数据集体量是 LCS-558k 的两倍多,但结果没有更好,反而在 40% 数据时就达到峰值,之后略微下滑。数据量翻倍,收益没有翻倍,这进一步说明,投影器需要的不是"足够多"的数据,而是"足够覆盖"的数据。
不同数据集训出的投影器,居然可以直接线性混合
光是数据量够用还不足以说明问题。研究者们接着问了一个更尖锐的问题:如果投影器学到的是一个精确、独特的映射关系,那不同数据训出来的两个投影器,应该是两个完全不同的解,没法简单叠加。
于是他们做了个实验:用同一个初始化权重,分别在 LCS-558k 和 ShareGPT-1.2M 上各训练一个投影器,得到权重 W_LCS 和 W_ShareGPT。然后用一个简单的线性插值公式,把两个权重按不同比例混合起来,α 从 0 一路取到 1,分别评估这些混合出来的"杂交投影器"的表现。
线性插值*:给定两组参数 A 和 B,按比例 α 取 (1-α)×A + α×B,得到介于两者之间的一组新参数。
按理说,如果两个投影器各自落在完全不同的"山谷"(也就是损失函数的局部最优区域),那混合它们应该会掉进两座山谷之间的"山脊"上,效果会明显变差。但实际测出来的结果是:整条插值路径上的表现都相当不错,甚至在 α=0.5 的时候,混合出来的投影器比两个原始投影器单独的表现都要好。
这就好比两个厨师分别用不同的配方做出了两道都很好吃的菜,你把两份调料按一比一混合,结果做出来的新菜比原来两道都更好吃。如果调料配方真的是精确到克的独门秘籍,这种混合通常只会做出一锅糊状的四不像,而不是更好的菜。这说明两个配方其实都只是在同一个"合理区间"里的不同选择,而不是互相排斥的两套体系。
但这里有个重要的对照实验。研究者们还测了另一种情况:用同样的 LCS-558k 数据,但换两个不同的随机初始化种子分别训练。这次插值结果完全不一样,在 α=0.5 的时候,用于评估图像描述质量的 CIDEr 分数直接从两端的 80 分左右暴跌到 0.7 分。
CIDEr*:一种衡量图像描述文本生成质量的指标,分数越高说明生成的描述和人工标注的参考描述越接近。
两个实验放在一起看,结论就清楚了:初始化决定了投影器会落在哪个"山谷"里,而训练数据决定了在这个山谷内部具体走到哪个点。同一个山谷里的不同点之间可以随意游走,但跨山谷的两个点之间往往隔着一道很深的"损失壁垒",贸然混合只会摔进谷底。
这个发现是整篇论文最关键的转折点。既然投影器训练的本质是"找到一个足够大的兼容区域",而不是"找到一个精确的点",那是不是可以直接用数学方法算出这个区域里的一个点,根本不需要用图文对训练?
PORTAL:不用任何图文对,靠统计数字直接算出投影器
研究者们把这个想法变成了现实,起名叫 PORTAL(全称是"通过最优传输对齐构建投影器")。
最优传输*:数学中研究"如何用最小代价把一种概率分布转换成另一种概率分布"的理论,常用于比较和对齐两个不同的数据分布。
高斯分布*:统计学中最常见的一种概率分布,形状是对称的钟形曲线,由均值(中心位置)和方差(分散程度)两个参数完全决定。
PORTAL 的核心思路是这样的:把视觉特征的分布和语言模型输入向量的分布,都近似看成高斯分布。只要知道这两个分布各自的均值、主方向(也就是数据在哪几个方向上变化最剧烈)、以及沿着每个方向的离散程度,就能用一个叫 Bures-Wasserstein 最优传输映射的公式,直接算出一个线性变换,把视觉特征"挪"到语言模型习惯的分布上去。
具体来说,这个公式先对视觉特征和语言特征各自做一次主成分分析(PCA),找出前 k 个最重要的方向,默认取 k=512。然后构造一个矩阵,这个矩阵做三件事:先把视觉特征在它自己的主方向上"打白"(去掉方向之间的相关性,统一缩放到标准方差),再按照语言特征每个方向的实际离散程度重新拉伸,最后旋转到语言特征的主方向坐标系里。整个过程只需要几次矩阵运算和两次 SVD 分解,在一块普通显卡上不到 30 秒就能跑完。
主成分分析(PCA)*:一种数据降维技术,能找出数据中变化最剧烈的几个方向,忽略掉噪声方向。
这里有个很自然的问题:视觉特征和语言特征真的符合高斯分布吗?研究者们老实做了检验,答案是不完全符合,两边的分布都有一定的"重尾"现象(也就是极端值比标准高斯分布预期的要多),但好消息是,两边的偏度都很小,说明分布形状基本对称,没有明显的左右倾斜。这意味着高斯近似虽然不精确,但抓住了最关键的结构。
为什么只匹配均值和协方差就够用了?研究者们给出了一个很巧妙的解释:现在主流语言模型在计算注意力之前,都会对每个输入向量做归一化处理(比如 RMSNorm)。
RMSNorm*:一种在深度学习中常用的归一化技术,把输入向量的长度统一缩放到某个标准范围,但不改变它的方向。
既然归一化会抹掉向量的长度信息,只保留方向信息,那注意力机制真正在意的就只是这些向量"指向哪里",而不是"有多长"。研究者们证明了一个数学命题:当向量长度变化不大时,衡量这些向量方向散布程度的一个指标(他们叫它"余弦离散度"),几乎完全由协方差矩阵的"有效维度"决定。也就是说,只要把协方差匹配对了,方向上的散布程度自然就对了,不需要去匹配更高阶的分布细节。
这就像调一台老式收音机,你不需要精确复刻电台发射的每一个声波细节,只要把频率(也就是协方差决定的主要方向)调准了,声音听起来就是对的。如果非要去抠每一个高阶谐波的精确值,反而是在浪费力气,因为接收端(也就是语言模型里的归一化操作)根本不关心那些细节。
实测数据也验证了这一点:在三组不同的 CLIP 和语言模型组合上,经过 PORTAL 处理后,余弦离散度从原始视觉特征的 0.23 降到了 0.09 到 0.10 之间,已经非常接近语言模型输入向量本身 0.05 到 0.06 的水平。而一个完全随机初始化的投影器,这个数值几乎纹丝不动,还停留在 0.23 左右。
PORTAL 到底行不行,七组模型组合给出答案
光有理论不够,研究者们在七组不同的(视觉编码器,语言模型)组合上做了系统评测,覆盖 Vicuna、LLaMA、Qwen、OLMo 四个语言模型家族,参数规模从 5 亿到 80 亿不等,视觉编码器用了 CLIP 和 SigLIP 两种,评测基准覆盖 16 个任务,分成知识类、通用类、文字识别类、视觉中心类四大类别。
对照组有两个:一个是标准流程,用 55.8 万对图文数据老老实实训练出来的投影器;另一个是完全随机初始化、跳过第一阶段训练的投影器。所有配置在第二阶段的指令微调上完全一致,只是投影器的起点不同。
结果显示,PORTAL 在 LLaMA 3.2 1B 配 CLIP 的组合上拿到了训练基线 106.2% 的分数,在 Qwen 2.5 0.5B 配 CLIP 上是 106.1%,在 LLaMA 3.1 8B 配 CLIP 上是 102.7%,全都超过了用真实图文数据训练出来的基线。在另外四组配置里,PORTAL 的表现也稳定在训练基线的 96.3% 到 99.3% 之间。
最能说明问题的是 SigLIP 这个视觉编码器的表现。在这个配置下,随机初始化的投影器表现直接崩到了训练基线的 82.5%,差距非常明显,但换成 PORTAL 之后,这个差距一下子缩小到了 99.3%。如果投影器训练真的只是在学习某种精细的图文语义对应关系,PORTAL 不应该能填上这么大的坑,它靠的只是分布层面的粗对齐,这恰恰说明了分布匹配才是这个阶段真正起作用的部分。
当然,PORTAL 不是万能的。在 Qwen 2.5 7B 和 OLMo 2 1B 这两组配置上,PORTAL 的表现略低于置信区间,差距主要集中在文字识别和图表理解类的任务上。这个现象和前面数据量实验里发现的规律是一致的:文字识别和图表类任务恰恰是从投影器训练中获益最多的类别,说明这类任务需要的是更精细的字符级空间结构信息,而这恰恰是只看均值和协方差的粗统计方法天生覆盖不到的。研究者们也测试了另外两种不需要图文对的替代方法:CORAL(一种对齐二阶统计量的方法)和 Gromov-Wasserstein 对齐(一种迭代式的无监督对齐方法),结果这两种方法分别恢复了训练基线 96.5% 和 98.0% 的性能,进一步证明分布匹配这条路是走得通的,而 PORTAL 在这几种无监督方法里表现最好。
省下 135 倍的对齐计算量
既然 PORTAL 自己就能打平训练基线,那如果把它当成一个"热身起点",再叠加少量真实图文数据继续训练,效果会怎样?
研究者们在 Vicuna 1.5 7B 配 CLIP 这组配置上做了测试,把投影器训练的数据量从 0 一路加到 1000、1万、10万,直到完整的 55.8万,分别从随机初始化和 PORTAL 初始化两条路径出发,比较最终效果。
结果是,PORTAL 在每一个数据量档位上都稳定领先于随机初始化。更关键的是,PORTAL 只用大约 4000 条图文对,就追平了完整 55.8 万条数据训练出来的基线,这意味着对齐阶段的计算量省了大约 135 倍。如果继续加到 1 万到 10 万条数据,PORTAL 甚至反超了用完整数据训练的基线。
这就好比开车去一个陌生城市,传统方法是从零开始,一边开一边摸索路线,走了很远的弯路才找到正确方向;而 PORTAL 相当于提前用卫星地图算好了大致路径,你只需要在这条路径上稍微微调几个岔路口,就能比从零摸索的人更快抵达目的地,甚至因为起点选得好,最终到达的地方比对方还要精准一点。如果没有这个"卫星地图",所有人都得老老实实从头试错,花的时间和燃料完全不是一个量级。
换个架构、换个图片池,结论还成立吗
研究者们没有止步于此,还做了一系列"拆房子验证结构牢固性"式的消融实验。
他们把标准的两层 MLP 投影器换成了最简单的单层线性投影器,结果发现 PORTAL 的优势不仅没有消失,反而更明显了:用 MLP 时 PORTAL 是训练基线的 106.2%,随机初始化是 99.9%,差距 6.3 个百分点;换成线性投影器后,PORTAL 变成 111.8%,随机初始化掉到 94.2%,差距扩大到 17.6 个百分点。这说明 PORTAL 的优势根本不来自投影器的"非线性表达能力",而是来自它把视觉特征放进了一个更合适的分布位置。
研究者们还反过来测试了更强大的连接器架构 C-Abstractor,这个连接器参数量是普通两层 MLP 的 19 倍,还额外做了 token 混合和序列压缩。结果 PORTAL 的表现(42.93 分)和训练基线(42.98 分)几乎无法区分。无论把投影器做得多简单还是多复杂,PORTAL 和真实数据训练出来的效果都保持在同一水平,这进一步排除了"投影器容量不够才需要真实数据"这种解释。
另一个值得一提的消融是关于构建 PORTAL 所用的图片池。研究者们对比了只用 1024 张 COCO 单一来源图片,和用 4096 张涵盖 9 种来源的 Cambrian 子集。结果是,小规模单一来源的 COCO 图片池在 15 个基准测试里的 12 个上表现持平或更好。这说明 PORTAL 需要的只是一个能大致反映自然图像统计特征的样本集合,根本不需要精心挑选、涵盖各种场景的多样化数据。就像你想测量一群人的平均身高,用随机抽取的 1000 人样本,和刻意凑齐各行各业、各个地区的 1000 人样本,算出来的平均值其实相差无几,真正起决定作用的是样本数量够不够,而不是样本来源够不够"丰富"。
写在后面
读完这篇论文,最触动我的其实不是 PORTAL 这个方法本身有多巧妙,而是那个线性插值实验背后的逻辑。研究者们没有直接跳到"投影器训练是粗对齐"这个结论,而是先设计了一个近乎"找茬"的实验:如果两个投影器真的学到了精确且独特的东西,插值应该失败。这种"先假设自己是错的,再去验证"的思路,比直接堆砌正面证据更有说服力。
另一个让我反复琢磨的细节是余弦离散度那个数学证明。研究者们没有满足于"实验效果好",而是去追问"为什么只匹配二阶统计量就够了",答案落在了一个几乎所有人都知道、但很少有人往这个方向想的技术细节上:语言模型在算注意力之前会做归一化。这种把看似无关的架构细节(归一化)和看似玄学的训练现象(投影器为什么不需要精细训练)串联起来的能力,才是真正体现研究功力的地方。
这篇论文留下的问题也挺值得琢磨:如果视觉和语言之间的"粗对齐"真的可以用统计方法解决,那多模态学习里还有哪些阶段,其实也只是在做类似的分布搬运工作,而被我们误以为是在学习深层语义?音频、视频、三维点云这些模态要是也套上同样的逻辑,会不会同样发现,训练一大半的功夫都花在了不该花的地方?
Q&A
Q1:PORTAL是什么?
A:PORTAL是一种不需要任何图文配对数据、不需要梯度训练的投影器构建方法,它只用视觉和语言各自的统计信息(均值、主方向、离散程度),通过最优传输数学公式直接算出投影器参数,取代了传统需要几十万图文对训练的对齐阶段。
Q2:PORTAL的效果能达到传统训练方法的水平吗?
A:在七组视觉编码器和语言模型组合的测试中,PORTAL在其中三组超过了用55.8万图文对训练出的基线,最高达到106.2%,其余四组也达到基线的96.3%到99.3%,整体效果非常接近甚至超过传统方法。
Q3:投影器训练阶段到底在做什么?
A:论文发现投影器训练主要是在做粗粒度的分布对齐,把视觉特征搬到语言模型能接受的输入空间里,而不是学习精细的图文语义对应关系,这从只用10%到20%数据就能达到满分效果、以及不同数据训练的投影器可以线性混合这两个实验中得到了证明。







