Token导航 LogoToken导航

AI 资讯 · 科技行者

瑞士团队将Apertus升级为多模态推理模型

更新 2026-11-17科技行者正文 9542字阅读约 30分钟

2025年9月,瑞士联邦理工学院和洛桑联邦理工学院联合发布了Apertus 1.0,一个完全开源的大语言模型,训练数据、代码、训练过程全部公开。这在当时已经算是行业里的异类了,因为大部分声称"开放"的模型,发布的只是权重文件,背后的数据配方和训练细节都藏着不给看。

一年之后,同一个团队交出了Apertus 1.5。这次他们做的事情更有意思:不是重新训练一个新模型,而是让已经训练好的纯文本模型"学会"看图片、听音频,同时还把它的推理能力、指令遵循能力、长文本处理能力全部往上拔了一截。

这篇技术报告有134页,信息量密度很高。我们今天就把里面最核心的几件事拆开讲清楚:他们是怎么让一个只认识文字的模型学会看图听声音的,训练过程中踩了哪些坑,以及最终这个模型到底强在哪里、弱在哪里。

**一个只会读写的模型,怎么才能学会看和听**

想象一下,你教一个只会中文的人学日语,通常的做法是直接从头开始系统学习。但Apertus团队面对的问题更复杂:他们手里有一个已经训练了15万亿token、花费巨大算力的文本模型,现在要让它额外具备理解图像和音频的能力,而且不能把原来的文本能力搞坏。

这就好比你已经有一个精通中文写作的助理,现在想让他同时学会看懂英文合同和听懂法语语音留言,但前提是中文写作能力一点都不能退步。直接推倒重来显然不划算,那几万亿token的文本训练成本就白费了。

团队选择的路径是**离散token化**

离散token化:把图像和音频都转换成一串数字编码(token),这些编码和文字token共用同一套词表,模型处理起来用的是完全相同的"下一个token预测"机制,不需要专门为图像或音频设计额外的处理模块。

这个设计思路并不是Apertus首创,Meta的Chameleon和智源的Emu3都用过类似方案。但为什么要这么做,而不是像LLaVA那样用一个专门的视觉编码器把图片特征投射进语言模型?

答案藏在效率里。如果用连续特征加编码器的方案,训练时每一步都要跑一次视觉编码器的前向传播,这会显著拖慢训练速度,还要额外设计对齐机制让视觉特征和语言模型的"语言习惯"匹配。而离散token化相当于把图片和音频提前"翻译"成了模型本来就认识的符号序列,训练基础设施几乎不用改动,这就是为什么Apertus能在"256个节点、8192 token序列长度"这个配置下,纯文本训练能跑到每GPU每秒5300到5500个token,引入多模态数据后的首个生产阶段也能跑到5474,几乎没有性能损失。

具体来说,图像处理用的是Emu3.5的视觉tokenizer,每16×16像素的一个小块对应一个编码,从13万多个编码里选一个最合适的。一张512×512的图片会被切成32×32的网格,变成1024个token。这个tokenizer本身只经过像素重建训练,没有做语义对齐,但团队发现它和早期Emu3版本相比,用四分之一的token数量就能达到接近的重建质量——当然这是有代价的,后面会讲到。

音频这边用的是WavTokenizer,24kHz的单声道音频,每600个采样点变成一个编码,一分钟音频大概需要2400个token。和EnCodec这类需要多层编码器并行处理的音频编解码器不同,WavTokenizer每一帧只输出一个编码,这意味着音频进入模型后就是一条和文本完全一样的"扁平"序列,不需要额外设计交错处理逻辑。

把13万个文字token、13万个图像token、4千个音频token拼在一起,加上200个预留的结构标记位,整个词表扩充到了26万多条目。但发布的模型只保留了文字输出头,因为模型只需要理解图像和音频,不需要生成它们。

**先学会"看懂",再学会"用语言描述":两阶段预训练的取舍**

这里有个设计决策特别值得展开讲,因为它背后藏着一个真实的实验教训。

团队把继续预训练分成了三个阶段加一个长上下文扩展。第一阶段,模型同时接触未配对的图像、音频和文本,预测目标是所有模态的token,也就是说模型要学着"猜"图片里下一块应该是什么样的编码,就像学一门新语言时先只是大量阅读,不急着翻译。第二阶段引入配对数据,图文对、音频转录对,但这时候损失函数只计算文本token,图像和音频token不再是预测目标。

为什么要这样安排顺序?

团队内部做过一个对照实验来回答这个问题。他们用更小的Llama 3.2 3B模型复现了这套流程,把一个图文语料库拆成两半,一半去掉文字只留图片用于表征学习阶段,另一半保留图文对用于模态对齐阶段。结果发现三件事:第一,如果在模态对齐阶段让图像token和文本token拥有相同的损失权重,效果反而是所有配置里最差的,说明图像token预测和语义对齐这两个任务会互相干扰,抢占同一份计算资源;第二,模态对齐阶段把图像token权重设为零是最优策略,在文档理解、目标定位、幻觉抑制这几类基准上表现最好;第三,前面那个纯图像表征学习阶段投入的token预算越多,后续图像理解能力提升越明显,比如GQA基准从0.50涨到0.54,DocVQA从0.67涨到0.71。

这就像学游泳,先让你在浅水区反复练习换气和划水动作,不急着下场比赛,等动作形成肌肉记忆了,再放到深水区结合实际游泳目标去调整。如果一开始就同时要求"学会换气"和"游得快"两个目标,两边都学不精。如果跳过第一阶段直接进入配对训练,模型没有先建立起对视觉模式本身的感知基础,后续的语言对齐就会显得吃力。

但这个设计也有代价。实验里发现,当表征学习阶段的token预算推得太大时,那些依赖语言能力的知识型图像基准和纯文本基准反而会退化,而且这个损失即使后面重新混入文本数据也没能完全恢复。这也是为什么最终的训练配方里文本数据占比始终维持在55%到60%这个区间,不是越多多模态数据越好,而是要留足够的"语言底子"空间。

**8B模型的一次重启:学习率调错了会发生什么**

技术报告里有一段写得相当坦诚,他们第一次跑8B模型的第一阶段训练时失败了,原因有两个。

第一个问题是峰值学习率设成了原来Apertus 1.0的两倍,这个选择是基于小规模消融实验得出的,但没能迁移到真实的大规模训练场景。第二个问题更离谱:团队的文本语料库因为是分布式协作构建的,分散存放在不同人的个人暂存目录里,没有统一的清单文件,导致启动脚本只读取到了语料库的一部分,英语高质量网页、数学、代码这几个子集都被悄悄漏掉了。

这两个问题叠加的后果是文本能力明显下降,而且损失值虽然后来看起来恢复了,但评测分数没有跟着回来。团队最后选择了重新开始,用回原来的学习率,修复数据混合比例的bug。

这个教训背后其实有个更深的观察。团队发现,在第一阶段训练中,即使只看纯文本token上的损失(和多模态token的损失分开算),也会看到一条缓慢上升的曲线,这说明模型在学习新模态的过程中,确实在悄悄"遗忘"一部分原本掌握的语言能力。这个现象直到第三阶段的"退火"训练(学习率逐渐降低、聚焦高质量数据)才被明显逆转。

有意思的是,70B模型几乎没有出现这种退化。团队的解释是模型容量越大,吸收新模态信息的"余量"也越大,不太会挤占原有能力的空间。这就像一个小房间塞进新家具必须先腾地方,挪动过程中难免磕碰到原来的摆设;而一个大房间本身就有富余空间,添置新东西造成的扰动小得多。

**长上下文:从262k token说起**

Apertus 1.5把上下文窗口从原来的65536 token直接扩到了262144 token,整整扩大了四倍。但这个过程不是一步到位的,而是分成32768、65536、131072、262144这四级台阶逐步爬升,每一级都从上一级checkpoint重新开始,重置优化器状态,用固定学习率训练。

为什么要分阶段而不是直接拉到目标长度?直接从8192跳到262144,相当于让一个刚学会走路的人立刻冲刺马拉松,中间缺失的适应过程会让模型在真实场景下表现得极不稳定。循序渐进让模型有机会在每个长度区间都充分适应注意力模式的变化。

长上下文训练里有个技术细节值得一提,**旋转位置编码**

旋转位置编码(RoPE):一种让模型感知token相对位置关系的编码方式,基础频率参数决定了位置信息随距离衰减的速度,上下文越长通常需要越大的基础频率来维持远距离位置的区分度。

主训练阶段最初沿用Apertus 1.0的基础频率50万,经过四级扩展后最终模型用到了400万,配合缩放因子从8提升到32。这个调整的核心逻辑是:当你把上下文窗口放大了,原来为短序列设计的位置编码参数如果不跟着调整,模型会在超长距离上丧失位置区分能力,就像一把本来用来量课桌长度的尺子,直接拿去量一条马路,刻度会变得毫无意义。

除了真实长文档,训练数据里还加入了专门设计的"合成验证任务",比如共同词汇抽取任务要求模型统计一篇长文档里若干个指定词出现的次数,文档顺序重建任务把文档打乱分段然后要求模型还原原始顺序。这类任务的作用是明确训练模型"跨越长距离调用信息"的能力,而不是单纯靠真实文档的自然分布去碰运气。

但长上下文训练里也藏着一个意外的坑。监督微调阶段结束后,团队发现8B模型在262144 token长度下的RULER基准分数从54.8骤降到8.3,而短上下文的表现完全没受影响。原因是短上下文微调会系统性地让模型的注意力偏向局部模式,把之前通过长上下文预训练建立起来的远距离检索能力给"教没了"。

这就像一个人本来能同时兼顾远近视力,结果天天只练近距离阅读,久而久之看远处就模糊了。解决办法是专门加了一轮长上下文监督微调,在完整的262144 token长度上重新训练一遍,才把这个能力找回来。而且团队还观察到一个有点反直觉的现象,偏好对齐阶段(训练模型学会更符合人类偏好的回答方式)和强化学习阶段都没有直接用长文档训练,但做完这两个阶段之后,长上下文基准的分数反而还在继续提升。这说明短上下文上学到的推理和对齐能力,会在某种程度上泛化迁移到长上下文场景。

**思考模式:一个开关,不是一个新模型**

Apertus 1.5引入了一个"思考模式"的概念,但这不是训练了两个不同的模型,而是在对话模板里加了一个开关。打开这个开关,模型会先在一段特殊标记包裹的区域里进行推理,然后再给出最终答案;关掉它,模型直接给出简洁回答。

这个设计带来的效果相当明显。8B模型在数学基准MATH-500上,关闭思考模式时是51.2分,打开后跳到71.4分,涨了整整20个百分点。AIME竞赛题的表现更夸张,24年的题目从7.5分涨到22.9分,25年的从8.3分涨到23.8分,接近三倍的提升。

这个差距意味着什么?意味着同一个模型,仅仅因为"允许多想一会儿",在难题上的正确率就能翻两三倍。这说明很多数学推理失败不是模型"不会",而是模型没有被引导去充分展开思考过程就匆忙给出了答案。

但思考模式不是免费的午餐。团队在做监督微调消融实验时发现,给模型大量提供带推理过程的训练样本,虽然能让数学类基准提升7到18个百分点,但同时会让指令遵循类基准(比如IFEval和Multi-IF)掉12到14分,原因是大约四分之一的推理轨迹会陷入"重复循环"而无法正常结束。

这就是为什么团队没有简单粗暴地给所有训练数据都配上推理过程,而是设计了一套**能力筛选**机制。

能力筛选:先训练一个不带推理链的辅助checkpoint,让它对每个可验证的数学题目尝试八次回答,只要有一次答对(pass@8),这道题就不配推理过程留在正式训练集里;八次全错的题目才会配上经过验证的推理轨迹。

这个筛选逻辑背后的考量是:如果模型本来就能靠"直觉"答对,硬塞给它一段刻意拉长的思考过程,反而可能教会它用啰嗦低效的方式解决本来很简单的问题,甚至带来副作用。数据显示,不同来源的数学题目里,保留"无需推理"标签的比例差异很大,指令遵循类题目99%都不需要推理过程,而OpenMathReasoning这类较难的数学题目集只有11.9%不需要。

**三遍实验才发现的秘密:多模态推理数据能不能帮到纯文本任务**

报告里有一节专门做了一套消融实验,问了四个问题:加入多模态数据会不会损害原有文本能力?带推理链的训练数据到底有什么用?这种收益在关闭思考模式时还在不在?用更强模型生成的推理轨迹对后续强化学习训练有没有帮助?

实验设计得挺讲究,构建了四个版本的训练配置:纯文本不带推理、纯文本带推理、多模态不带推理、多模态带推理,每组配对版本除了是否保留推理链之外,其他内容完全一致。

结果显示:引入多模态数据本身不会损害文本能力,甚至在保留多模态推理轨迹的情况下,文本能力相比"只用文本推理数据训练"的版本还略有提升。推理链监督对多模态任务有明显帮助,但前提是推理模式必须打开;一旦关闭思考模式,视觉类基准平均反而下降2.2个百分点,三个随机种子重复实验都一致出现这个现象。

这个发现有点像学骑自行车时用了辅助轮,辅助轮在学习阶段确实能帮你保持平衡(思考模式打开时推理链带来增益),但如果你习惯了依赖辅助轮之后突然拆掉(关闭思考模式),反而会比从没装过辅助轮的人更不适应,因为你的身体已经形成了依赖辅助的肌肉记忆模式,而不是真正学会了独立平衡的技巧。

第四个问题的答案更有意思。团队用GRPO(一种强化学习算法)分别从"纯文本推理"checkpoint和"多模态推理"checkpoint出发,在数学、推理、指令遵循三类纯文本任务上继续训练。结果显示,多模态推理版本在强化学习过程中保持甚至扩大了相对纯文本推理版本的优势,也就是说,多模态推理监督带来的收益不是训练初期的一个"虚高"起点,而是能在后续的在线策略优化中持续发挥作用、不被冲刷掉的。

**8B和70B差距为什么这么小**

有个现象在报告里被明确承认,70B模型虽然参数量是8B的九倍,但在多模态任务上的提升却相当有限。团队给出了两个原因。

第一个原因是资源分配问题。70B模型的训练计算节点在多模态数据还没训练完整个配方之前就被重新调配去支持下一代Apertus的预训练项目了,也就是说它压根没有"吃完"该吃的多模态数据,提前被叫停了。既然多模态能力是随着训练数据量的增加而持续提升的,这个提前退出直接限制了70B模型本应达到的上限。

第二个原因是优化器学习率的遗留问题。Apertus 70B原始预训练用的AdEMAMix优化器基础学习率可能设置偏低,而继续预训练时的学习率是按原始值的比例设定的,这意味着低基础值留给模型适应新模态的"调整空间"本身就比较窄。

这其实是个挺朴素的道理,就算你天赋再高,如果练习时间被腰斩,又用的是一套本来就偏保守的训练强度,那最终成绩很难体现出天赋带来的优势。

**后训练流水线:五道工序打磨一个模型**

预训练结束只是开始,Apertus 1.5的后训练流程包括监督微调、长上下文监督微调、基于可验证奖励的强化学习、直接偏好优化(DPO)、以及宪章对齐(SDPO)五个阶段,每一步都针对具体问题做了调整。

强化学习阶段的数据构成很有代表性,涵盖了经过验证答案的数学题、带约束检查器的指令遵循任务、竞赛编程题、翻译成12种语言的程序化推理任务、谜语、表格操作任务、法律考试选择题,以及视觉任务。奖励信号全部来自对模型输出的直接检查或执行结果,而不是让另一个模型去"打分",比如数学题用Math-Verify工具核对答案,代码任务在沙箱里跑测试用例,只有全部通过才给满分奖励。

偏好对齐阶段用的是DPO(直接偏好优化),这里有个值得注意的细节,8B模型直接用在线DPO就够了,但70B模型如果直接上在线DPO,会导致回答变得又短又脆弱。团队的解决方法是先用离线DPO在一个静态数据集上训练,再接上在线DPO,这个两段式的组合让70B模型的能力得到了全面提升。

这背后的原理值得琢磨。在线DPO是模型一边生成回答一边根据实时反馈调整,这种方式对小模型来说足够有效,但对大模型而言,如果没有先打下一个相对稳定的基础,在线学习过程中容易产生不稳定的震荡,就像让一个刚开始学投篮的人直接上场打比赛,边打边纠正动作,效果往往不如先在训练馆里反复练习固定姿势,再去场上实战磨合。

最后一步是宪章对齐,用的是一种叫**自蒸馏策略优化**的方法。

自蒸馏策略优化(SDPO):学生模型先生成一个回答,一个判断模型(裁判)结合预设的价值准则对这个回答给出文字反馈,告诉它该怎么改进;然后系统计算"原始回答+这段反馈"组合在一起时各个词出现的概率分布,这个带了反馈信息的概率分布被当作"老师",反过来蒸馏回给只看到原始问题(不包含反馈)的学生模型。

这个设计的巧妙之处在于,它不需要人工标注大量"正确答案",而是利用模型自己对反馈的条件反应来生成训练信号。8B模型完整用上了这一步,宪章对齐分数从56.8涨到66.7。但70B模型最初因为SDPO和DPO两个阶段之间的分词器配置不一致,训练出现了退化,尤其是在数学能力上,团队因此在正式发布时把SDPO这一步从70B的流程里拿掉了。后来排查发现问题根源不在SDPO算法本身,这算是一个典型的"配置bug被误判为算法问题"的案例,也提醒我们复杂训练流水线里,一个看似无关紧要的配置细节,比如分词器设置,也可能决定整个训练阶段的成败。

**核心数据表现**

| 评测维度 | Apertus 1.5 8B | Apertus 1.0 8B | 对比开放权重模型Qwen3.5-9B |

|---------|---------------|---------------|------------------------|

| MMLU知识测试 | 70.5 | 60.6 | **83.7** |

| IFEval指令遵循 | **87.1** | 68.4 | 84.3 |

| GSM8K数学 | 78.5 | 62.7 | **94.8** |

| HumanEval代码 | 68.8 | 41.4 | **88.3** |

| Multi-IF多轮指令遵循 | **83.7** | 66.8 | 80.0 |

在完全开源模型阵营里,8B版本在知识、指令遵循、文化类基准上处于领先位置,而且指令遵循能力甚至超过了包括开放权重模型在内的所有对比对象。但面对体量更大、训练数据更专注的开放权重模型,比如Qwen3.5系列,差距依然明显存在,尤其是在数学和代码这两个高度依赖针对性训练数据的领域。

| 长上下文评测(RULER基准,百分比) | 8k | 64k | 262k |

|-----------------------------|-----|------|-------|

| Apertus 1.0 8B Instruct | 88.3 | 59.6 | 不支持 |

| Apertus 1.5 8B(SFT后未修复) | 83.1 | 40.5 | 8.3 |

| Apertus 1.5 8B(长上下文SFT修复后) | 86.8 | 65.9 | **44.9** |

| Apertus 1.5 8B(DPO后最终版) | 88.2 | 69.2 | 50.4 |

这组数据特别直观地展现了前面提到的"短上下文微调破坏长上下文能力"这个问题,中间那一行SFT后未修复的数据在262k长度下暴跌到8.3,几乎等于失去了长文本能力,而专门加一轮长上下文SFT之后立刻回升到44.9,后续的强化学习和偏好对齐又进一步把它推到50.4。

**安全评估:不止是让模型说"我不能回答"**

技术报告花了大量篇幅讲安全评估,这部分的思路和很多闭源模型不太一样。因为Apertus是完全开源的,权重公开意味着任何人都可以通过微调把安全对齐"训练掉",所以团队特别强调要独立评估模型本身的"危险能力",也就是即便绕过对齐机制,模型本身掌握的知识是否足以造成实际危害,而不仅仅是看它会不会拒绝回答。

为此团队专门制作了"**去除对齐**版本"用于安全测试。

去除对齐(abliterated)版本:通过技术手段移除模型内部负责拒绝有害请求的"方向",让模型失去安全护栏,以此检验模型本身是否掌握真正危险的能力知识,而不是依赖拒绝机制来掩盖潜在风险。

在化学、生物、放射性、核能、爆炸物(CBRNE)这类高风险领域,即便是去除对齐的版本,提供的配方信息也因为"概念坍缩"效应,没有达到足以支撑居家制作的完整程度,也没有超出公开网络已有信息的范畴。这是个重要的区分,危险不在于模型"知道"某些概念,而在于它是否能把这些概念组合成可操作的完整流程,Apertus在这方面被判定为没有显著超出现有网络信息的风险增量。

有意思的是,团队还请了瑞士本地的第三方专业机构参与评估,Orange网络防御瑞士分部负责测试攻击性网络安全能力,瑞士国防部的网络防御校园和斯皮兹实验室分别负责整体风险评估和CBRNE能力评估。这种引入外部独立审查的做法,在很多模型发布流程里并不常见,大部分厂商的"安全评估"更多是内部团队自己做的。

**写在后面**

读完这份报告最大的感触是,多模态能力的引入远不是"把图像编码器接上去"这么简单的工程活,背后有一整套需要反复试验才能摸清的权衡关系。比如离散token化虽然训练效率高,但图像tokenizer压缩率越高,OCR这类需要精细视觉细节的任务表现就越差,报告里明确说这是Apertus在文字密集图像理解上落后于专用视觉模型的主要原因。这是一个明确的trade-off,不是简单的"技术不够好",而是设计选择本身决定了能力边界在哪里。

另一个让我印象深刻的细节是团队对自己训练过程里的失误毫不避讳地写了出来,学习率设错、数据清单丢失导致训练集漏掉关键子集、分词器配置不一致误伤SDPO效果、评估checkpoint转换时悄悄丢失位置编码缩放配置导致性能被低估。这些"翻车现场"的坦诚程度,在动辄强调"我们取得了突破性进展"的技术报告里相当少见。一个完全开源的项目,连失败经验都公开,这种透明度本身可能比模型分数更有价值,它让后来者少走弯路的概率大大提高了。

还有个问题值得继续追问:报告里提到模型有时会"误认"自己的身份,用非英语场景下尤其明显,声称自己是其他厂商开发的。团队排查后确认训练数据里没有直接注入其他身份信息,怀疑这是通过网络爬取数据中的"模型生成内容"间接污染造成的,属于一种隐性的身份迁移现象。这个现象还没有彻底解决,留给了未来的版本。一个开源模型能不能真正拥有稳定且透明的"自我认知",这背后牵涉的其实不只是工程问题,可能还触及了更深层的、关于模型如何从海量互联网数据中继承某种"文化背景"的哲学问题。

Q&A

Q1:Apertus 1.5相比Apertus 1.0新增了哪些核心能力?

A:Apertus 1.5在Apertus 1.0纯文本模型的基础上,通过继续预训练增加了图像和音频理解能力,上下文窗口从原来扩展到262144个token,还引入了可开关的思考模式、更可靠的指令遵循能力和更有效的工具调用能力。

Q2:Apertus 1.5是怎么让模型同时理解图像、音频和文字的?

A:团队采用离散token化方案,用Emu3.5视觉tokenizer把图像转换成离散编码,用WavTokenizer把音频转换成离散编码,这些编码和文字token共用同一套词表,模型用统一的下一个token预测机制处理所有模态,不需要额外的编码器模块参与训练前向传播。

Q3:Apertus 1.5模型可以免费商用吗?

A:可以,Apertus 1.5的模型权重、训练代码、数据配方全部在Apache 2.0许可证下发布,训练数据也全部来自公开可获取的来源,模型在Hugging Face上可以通过门控下载方式获取,需要同意使用政策。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。