这篇架构长文的作者，做大模型预训练的工程师Nikita Pavlichenko。他的履历是，之前之前在 JetBrains 负责 Mellum。JetBrains 是做 IntelliJ IDEA、PyCharm 这些编程工具。现在，在 Cohere 做预训练。
他给的一句话总结全文是：GPT-3之后，最值的架构改进是细粒度MoE；线性注意力和超连接也确实管用。附注：当然不是真的每一种都试了，但也差不多了。
架构研究算得上眼下最有光环的活儿之一。随便翻一份技术报告，架构都要占一大块。它还自带一层神秘感：好像这些东西都是一群天才发明的，盯着原始张量的打印输出，看到范数炸了，转头就想出个“流形约束超连接”之类的东西。
可要把架构比明白，其实挺折磨人，原因有三：
1.“架构A比架构B好”根本没有清晰的定义。好在哪？同样参数下loss更低？推理更便宜？训练更便宜？几样加起来？还是别的什么？
2.现有的结论都高度依赖实验设置。你多看重长上下文、用什么数据、手里是什么硬件、推理负载长什么样……随便哪一项变了，结论都可能翻过来。
3.和大模型里几乎所有事情一样，结果放大之后只能“大致”成立。每次看到nanoGPT speedrun又破了纪录，大家第一反应都是：“这能放大吗？”
还有一种声音认为，架构可能没那么重要，真正的大头在数据，以及把预训练，后训练的各种设置调到位。各种传言也不少，前沿实验室训的都是史上最无聊的Transformer；“预训练已死”；还有那一整套“旧数据配新架构，还是新数据配旧架构”的争论。
我想把过去六年里开源实验室和研究者做过的架构决策，统统放到同一套实验条件下，看看哪些真能站得住。
于是我跑了一千多个实验：先把每个改动单独试一遍，再把胜出的叠在一起，看看提升还能剩下多少。
这个“超级消融实验”我惦记了一年多，直到有了编程智能体，才终于能在合理的时间内做完。这些奇奇怪怪的模型，我全是用bux训练的，这是我为架构实验自己搭的框架。在里面可以定义一个架构、训练它、导出到vLLM，然后同时测质量和推理速度。实验设置（暂未翻译）
我给每个架构同样的推理预算。如果某个改动让推理变便宜了，省下的钱就拿去换更大的模型。
免责声明：别把这当成一项正经的科学研究，也别超出实验条件去相信这些结果。
作者把所有改动分成了三档：
大件，划算的省钱件，小修小补。
第一档：大件
细粒度MoE：模型里有很多「专家」，每次只叫其中几个干活。总的知识量很大，每次的计算量却很小。作者测出来，MoE里一个实际干活的参数，大约顶得上普通模型里的4到5个。打个比方，一个100人的公司，每单只派5个最对口的人去做，效果相当于20多个人一起上。
线性注意力混合：普通注意力读的东西越长，越慢越费内存。线性注意力是一种更省的读法。把大部分层换成它，模型不但更聪明，推理还便宜了2到7倍。又好又省，所以排第一档。
第二档：用一点质量换省钱
GQA、MQA、MLA、滑动窗口，都是在压缩KV cache。KV cache是模型回答时记在内存里的「草稿纸」，对话越长，草稿纸越大，最占内存。把草稿纸压小，单看每个参数，模型会稍微笨一点；但省出来的内存，可以拿去部署一个大4到9倍的模型。小亏一点、大赚一笔，所以作者说「这笔买卖很划算」。
第三档：小修小补
归一化、MLP、位置编码、残差连接这些改动，不影响推理花多少钱。在小模型上看着挺有用，能让小模型追上大1.2到2倍的模型；但放到真正要上线的大尺寸，提升最多只有1%到2%，很多时候是零。说白了，小模型上的效果到了大模型上基本就没了。
看上去，作者的结论是，真正改变格局的只有MoE和线性注意力；省内存的方法因为能换来更大的模型，也值得用；其他改动大多是小模型上才看得出来的好处。
每次只给同一个老模型加一个改动，然后看「花同样的钱、训同样多的数据，换到大尺寸后，模型会好多少」。这张表就是成绩单，列出了最好的前10名。
前10名其实就三类：
MoE类：
LatentMoE、DeepSeek-V3 MoE、DeepSeekMoE，
占了第1、2、5名。
线性注意力类：
KDA、Gated DeltaNet、Mamba-2。
省“内存”的注意力：
MLA、滑动窗口、GQA。
作者又把每类改动挨个过了一遍，每节只给一句判决。
位置编码
模型得知道每个字排在第几个，这就是位置编码，RoPE是现在的主流做法。作者发现，在RoPE上再做花样没什么用。位置信息模型需要一些，但不用每一层都加，有几层知道就够了。
归一化
归一化就是把每层的数字拉回正常范围，防止越算越大。大多数归一化的改动是为了训得更快、更稳，并不让模型更聪明。唯一的例外是QK-norm，每种尺寸都能稳定提升大约1%。作者的解释是，QK-norm让模型自己学会「注意力该多集中」，这才是关键。
MLP变体
MLP是模型里负责「记知识」的部分。结论是：一个MLP在普通模型里好用，放进MoE当专家却不一定好用。
Softmax注意力变体（GQA、MLA这些）
只看「每个参数有多聪明」，没理由换掉原来的注意力。但一算推理成本，结果就反过来了：它们把模型的草稿纸，也就是KV cache，压小了4倍以上，同样的钱能用上大4到9倍的模型。
混合架构：滑动窗口vs线性注意力
两种都是更省的「看法」。滑动窗口是只看最近的一段，线性注意力是用一个压缩过的记忆来看全部。
单独比，线性注意力明显更强，是「版本答案」；滑动窗口主要赢在便宜。
但两边都加上MoE、QK-norm这些好零件以后，线性注意力的领先基本就没了。之前的提升，大多来自两边都有的那些零件，不是线性注意力本身。
作者顺便猜了一句：这也许是西方开源实验室不急着用线性注意力的原因之一。
线性层用得越多越便宜，能上更大的模型，但质量也会掉，一加一减基本抵消了。
MoE变体
细粒度MoE是全文赢得最轻松的一项，而且模型越大，它的优势越明显，这一点很少见。
MoE推理确实更贵，可就算把这笔钱算进去，它仍然赢了5.5%。
专家之间怎么分活儿（路由），细节不那么重要。
LatentMoE单独测时排第一，但加到已经有普通细粒度专家的模型上，就没有额外好处了。就像已经请了专业团队，再换一个更花哨的团队，提升有限。
短卷积
短卷积是一种只看前后几个字的小部件。在这个尺寸下，它替代不了KDA，因为KDA有一份能记住长远内容的「记忆」，短卷积没有。
残差流（超连接）
如果只在老模型上测，超连接看起来不值，作者差点就把它淘汰了。但放到新的2026混合模型上，它反而是第一轮叠加里收益最大的一项，赚回来的比多花的推理钱还多。这里要记住的是：一个零件值不值，要看装在哪台车上。
稀疏注意力
稀疏注意力是「只挑重点去看」，但要先跑一个小程序（索引器）来挑重点。作者测的文字长度只有1.6万到2.4万个token，这个长度下，直接全看本来就不贵，而且只有四分之一的层在用，挑重点的开销反而比省下的还多。文字再长一些，它才开始划算。
前面「单项改动」都是在老模型上一次换一个零件，接下来，他换了个角度。
叠加（Stacking）实验在干嘛？
作者他先搭了一台已经很强的模型，有MoE、线性注意力这些好零件。然后，往上面继续加零件，看还能不能再好一点。
第一轮：还有四个零件管用
分别是超连接（HC）、AttnRes、K、V。
它们互不干扰，效果能直接相加。
「交互效应比噪声小」的意思是，两个零件放在一起，不会互相抵消，也不会产生额外的加成。
第二轮：小模型上的好处，到大一点就没了
第三轮：差距太小，分不出谁赢
又试了几个新零件，最好的比候选模型多降百分之零点几。但这点差距和其他选项太接近，作者说靠推算没法判断哪个真的更好。
对于完整架构，相对GPT-3在同等推理成本和1T token下的预测提升如下：
一路试下来，好零件已经装上之后，再加东西的收益很快就变得很小，而且常常只在小模型上看得到。架构能挤的空间，已经不多了。
大模型架构最大的进步，2024年底DeepSeek-V3就已经做完了；2025-2026 年的新改动在小模型上显得更有用。
为什么会这样小模型本来就容量不够，所以给它加个小零件帮一把，很容易看出效果；大模型自己就能学会这些东西，零件的作用就被冲淡了。
作者认为，模型架构的红利，DeepSeek-V3基本已经吃完了；最近两年的新改动，别被小模型上的漂亮数字骗了。
为什么架构改动越来越难有大提升？
第一，架构能抠的空间只剩一点点
scaling law是一个公式，它把模型的「错误率」（loss）拆成三块：数据本身就学不会的部分、参数不够造成的部分、训练数据不够造成的部分。
架构改动能帮的，只有「参数不够」那一块。架构做得越好，同样的参数就越顶用。
对现代模型（2026混合模型）来说，这一块只占大约2%。就算架构改到完美，最多也只能再降不到2%。对老模型（2021参照模型）来说，这一块大约有11%，改进空间大得多。
所以会出现一种看起来很奇怪的情况，一个改动在小模型上看着很厉害，能让模型追上大3倍的模型；放到现代模型上，却只多降半个百分点。原因是剩下能抠的本来就不多了。
第二，如果要处理很长的文本，作者会在少数全局层上加稀疏注意力，也就是只挑重点去看。但他强调，这只是文本长了以后省推理钱的一个选项，不能算架构本身变强了。
第三，如果要做更大的模型，作者觉得MLA也很可能被选上。MLA是DeepSeek提出的省内存注意力。不过他也说，MLA和GQA之间的差别并没有大到惊人，选哪个都不会差很多。
「2026混合模型」是作者自己搭的一个模型，用来代表2026年年底主流大模型的架构，按小尺寸缩小了。作者拿它当新一代的基准，往上加各种改动做实验，和那个当老基准的「2021参照模型」对着比。
为什么叫「混合」？
因为它把两种注意力混在一起用：每4层里，3层用KDA，就是更便宜的线性注意力；1层用全局注意力，也就是最贵、但把所有内容都看一遍的那种。
它还带了这些零件：
细粒度MoE：很多小专家，每次只叫几个干活。
QK-norm：让注意力的集中程度更稳定。
门控注意力：给注意力加一个「开关」，控制输出多少。
MTP：一次多预测几个字，训练效果更好。
最后，全文的总结，一共五条。
第一条：只比聪明，老办法最好，但太慢。
MHA是最原始、完整的多头注意力，作者叫它「无聊透顶」。如果只比「每个参数有多聪明」，它比GQA、MQA、滑动窗口都强，MLA也只是和它打平。
但它推理慢得要命，GQA这些能赢，唯一的原因就是快、省钱。
2020年以来，按每个参数算进步最大的，是MoE和线性注意力。前提是只算实际干活的那部分参数，也就是激活参数。
第二条：线性注意力有效，但和滑动窗口差距不大。
线性注意力看来确实管用，尤其是底层的计算程序，也就是kernel，已经优化好了的时候。
但它和滑动窗口（SWA）差别不大，所以到底选哪个，别只看loss，最好看更靠谱的信号，比如真实的评测成绩、训练后模型的实际表现。
第三条：残差流的改动有效，但超连接要看装在哪。
超连接只有装在2026混合模型上，带来的提升才抵得过它多花的推理钱，装在2021参照模型上就不划算。
第四条，架构创新不会白干。
就算只在这么小的实验里，也能看出这些年架构研究的进步，大家的工作不是没用。
第五条，架构是其他都做好了以后才轮得到的事。
用一流的训练方法去训一个普通的架构，能完全碾压用普通训练方法去训最好的架构。例子是Muon：只换一个优化器，带来的提升就差不多相当于一整轮架构叠加。作者估计，在数据上下功夫也会有类似的提升。所以，他说，架构研究某种程度上是一种特权，只有训练方法、数据这些都已经做好的实验室，才值得去抠架构。
谭老师我再加一点料：
「排在最前面的几个架构，基本分不出高下」。
到了顶尖这一档，靠这种小规模实验已经排不出名次了。要真分出高下，只能花大价钱在大模型上真训一遍，或者看真实的评测成绩。
1.差距太小
2.英伟达：照抄者死，阿里华为：AI集群狂飙『全解耦』
3.阿里华为『血战』英伟达AI超节点
4.抢在英伟达护城河合拢前，硅光的冲刺与最后窗口
5.OCP现场 l 北美AI巨头罕见共识ESUN，利益握手
6.为什么有些『闪断的锅』，硅光不背?
7.为了Token，阿里云竟然出了一个TPN？
8.杀死Token成本：靠的不仅是更强的芯片
9.独家深度 | 光互连战争：CPO还没有赢，NPO怎么继续活？
10.解码阿里云灵骏真武M890超节点：算力竞争杀入下半场
1.独家深度丨夸克健康大模型调研报告
2.熬夜三年肝损害，AI博主也靠AI学“续命”医学知识
3.为什么AI能预警心脏主动脉“血管炸弹”？
4.对话作者：全球首个开源手术视频大模型SurgMotion
5.阿里达摩院：做胸腹部CT，顺便筛了肠癌｜独家对话和睦家医院朱刚主任
6.我用剧烈腹痛两周，读懂了阿里达摩院《科学》论文RADAR
7.阿里达摩院又又又发布食管癌AI模型
《AI产品和技术模块》
1.Kimi Agent产品很厉害，然后呢？
2.搞懂“记忆”必看｜吃透Engram
3.实属踩踏了？深水炸弹Seedance掩盖Seed2.0
4.Harness内心OS：大模型只管想，剩下烂摊子全我的
5."纠缠软件"是什么？Agent？还是Harness?
6.排行榜是别人的，手感是自己的：Kimi K2.6体感报告
7.Agent才不会"赢家通吃"，证据来了……
8.央企OPC的玩法和困境：让Agent能跑，还要改造费？
9.Agent大战，赢家暗自在哪下功夫?
10.我建议DeepSeek搞个『峰谷差千倍』大促销
《具身智能》
1.“26年具身智能，根本做不过来”：含陶大程教授独家
2.漫画：大模型“强控”具身智能机器人？
