Token导航 LogoToken导航

AI 资讯 · 科技行者

上海AI实验室LatentLoop让AI模型学会偷懒反而更快

更新 2026-11-17科技行者正文 5821字阅读约 19分钟

你有没有想过这样一件事:一个任务让你重复做两遍,难道两次付出的努力一定要一样多吗?

2026年之前,大多数做"循环神经网络"的研究者会不假思索地回答:"当然要一样。"毕竟同一套参数,同一个模块,凭什么第一次和第二次要区别对待?这听起来几乎像是常识。

但上海AI实验室联合多所高校的研究团队,用一组扎实的实验告诉你:这个常识错了。他们发现,当一个共享的计算模块被反复执行两次时,模型自己学出来的参数显示,第一次的"更新力度"远远小于第二次。这不是巧合,而是一种稳定出现的规律。基于这个发现,他们提出了LatentLoop,一种给循环模型的两次计算分配不同"体力"的新架构,最终在超过10的21次方浮点运算规模的训练中,持续跑赢了两个强力基线。

这篇论文讨论的核心问题,是如何在语言模型里既省参数又不浪费计算力。

核心问题:大模型的两难

先说说背景。

Transformer*:目前几乎所有大语言模型的基础架构,通过堆叠很多层神经网络来处理文字序列。

想让模型变强,一个朴素的办法是堆更多层。但层数越多,需要存储的参数就越多,占用的显存和硬盘也越大。于是有人想了个取巧的办法:既然每一层都在做相似的事情,那能不能让同一层的参数被"复用",重复跑两遍甚至更多遍?这样存储的参数没增加,但计算量(也就是"思考的步数")变多了,模型可能因此变聪明——这就是循环Transformer(Looped Transformer)的思路。

Mixture-of-Experts(MoE)*:混合专家模型,模型里有很多个"专家"子网络,但每次只激活其中一小部分,这样既能拥有海量参数(知识容量大),又不会让每次计算的开销线性增长。

把循环和MoE结合起来,就产生了一个很聪明的组合:循环负责"省参数",MoE负责"参数和算力解耦"。此前的工作SMELT已经证明,在严格控制参数量、显存、单步计算量和总训练算力这四个指标完全相同的前提下,循环MoE确实能比普通MoE表现更好。

但这篇论文的研究者们没有止步于此。他们追问了一个更深的问题:既然循环的两次执行共享同一套参数,它们真的在做同一件事吗?

残差系数的秘密:第一次访问在"悄悄省力"

残差连接*:神经网络里一种常见设计,让每一层的输出是"输入本身加上这一层算出来的更新量",这样可以让信息更容易在深层网络里传递,不容易丢失。

研究者给循环模型的两次访问(他们称之为"第一次loop"和"第二次loop")各自加了一个可学习的系数,用来控制这次访问对残差更新量的"信任程度"有多大。这个系数初始值都设为1,意味着一开始完全不打折扣。然后让模型自己在训练中调整这两个系数。

结果非常一致:在1.3B和3B两个模型规模下,第一次访问学出来的系数都显著小于第二次。具体数字是,1.3B模型训练结束时两者相差大约3.17倍,3B模型相差3.08倍。换句话说,模型自己"悟出"了一个道理:第一次计算不需要那么用力,第二次才是真正定调子的那一步。

这就好比你写一篇文章要改两遍稿。第一遍改稿,你大概率只是把明显的错别字和逻辑漏洞先标出来,不会在这个阶段纠结每一个措辞的精确度,因为你知道后面还有机会;第二遍改稿,才是真正逐字打磨、决定最终呈现效果的时候。如果你在第一遍就花同样的精力去抠字眼,那些精力很可能白费,因为第二遍还要推翻重来。模型学到的策略,本质上和这个过程异曲同工:第一次是粗加工,第二次才是精加工,没必要在粗加工阶段投入和精加工一样多的"注意力"。

为了验证这不是偶然,研究者又做了一组对照实验:把两个系数固定为不同的数值组合,从头训练模型,观察验证集上的负对数似然(NLL,数值越低说明模型预测越准)。结果发现,把第一次访问的系数调低(比如调到0.25),模型表现不但没变差,反而变得更好了;但如果把同样的调低操作用在第二次访问上,模型表现就会明显下降。在两个模型规模下,固定系数(0.25, 1)都是测试组合里表现最好的,比默认的(1, 1)要好出不少。

这组实验证明了一件事:减少第一次访问的"更新强度",不是什么需要妥协的代价,反而本身就是一种改进。

既然"软"的信号强度可以不对等,那"硬"的计算量能不能也不对等?这就是LatentLoop真正要解决的问题。

LatentLoop架构:把省下来的计算力花在刀刃上

研究者尝试了四种压缩第一次访问计算量的办法:把残差流的宽度砍半、把专家网络的中间层宽度砍半、减少激活的专家数量、压缩输入的序列长度。实验显示,压缩序列长度的效果最好,这也是最终被选中的方案。

序列压缩*:把一串本来有T个位置的文字表示,合并压缩成更少的T/k个"潜在"表示,用更少的计算单元去处理同样的信息。

为什么偏偏是压缩序列长度效果最好?研究者给出了一个合理的解释:循环模型的核心优势是"参数复用",省下来的存储可以拿去扩大专家池的规模,让模型的知识容量变大。但如果用减少激活专家数或者砍半网络宽度的方式省计算,相当于在第一次访问时就限制了每个词元能用到的"知识容量",这和循环模型本来想保留的优势是矛盾的。而压缩序列长度完全不同,它没有动"每个位置能调用多少专家、用多宽的网络",只是减少了需要计算的位置数量,节省出来的算力可以整体用来拓宽模型。

这就像一家工厂要在相同的总预算下完成生产任务。如果为了省钱而降低每个工位的加工精度,那产出的零件质量必然打折;但如果换一个思路,把一部分零部件先做粗坯合并处理,省下来的预算用来给核心工位配更精密的设备,整体产线的产出质量反而可能提升。压缩序列长度走的正是后一条路:牺牲的是"处理的位置数量",换来的是"每个位置处理时能用的资源更丰富"。

基于这个发现,LatentLoop的架构设计浮出水面:第一次访问处理一个被压缩过的"潜在序列",第二次访问则在完整分辨率上工作,省下来的计算力被重新分配,用来增大模型的隐藏层宽度(也就是让模型变得更"宽",每个位置能容纳更多信息)。

这个设计带来了两个新问题。第一,第一次访问在压缩空间里算出的更新量,要怎么"写回"到完整分辨率的状态里才合适?第二,两次访问处理的序列分辨率完全不同,还要不要继续共享同一套参数?

写回校准:学会多相信多少

LatentLoop在压缩编码阶段,用最简单的均值聚合把相邻两个词元的状态取平均,合成一个"潜在"位置。解压阶段(也就是把潜在空间算出的更新量写回完整序列)则引入了一个可学习的写回系数,针对每个通道和每个接收位置单独学习该给多大的权重。这个设计被称为"缩放解码器"(Scaled Decoder,简称SD),它只增加了2d个参数(d是模型宽度),代价很小。

这里有个细节特别值得说:写回系数遵循因果对齐的原则,也就是说,一个潜在位置的更新量,只能传递给它"源头"里已经出现过的那些位置,不能传给还没发生的未来词元,否则就违反了语言模型从左到右预测的基本规则。

分析学到的系数后发现一个很有意思的规律:靠近"源头"(也就是被压缩的那对词元中比较靠后的那个位置)的接收位置,学到的权重明显更大,大约是0.199;而离得更远的那个接收位置,权重只有0.160左右。

这个现象其实很好理解。想象你接到一份两小时前整理好的会议纪要摘要,相比接到十分钟前刚写完的摘要,你对后者的信任度自然更高,因为信息更新鲜,和你现在面对的情境更贴近。模型学到的写回权重也是同样的逻辑:离信息来源越近的位置,得到的更新越"可信",权重也就越大;离得越远,信息相对"过时",模型便本能地打了折扣。

研究者还专门做了个实验验证这个猜想:如果把写回的目标位置人为延后一个词元,让更新的信息和接收位置之间多隔一层"时差",两个接收位置学到的权重都显著下降了,分别降到0.161和0.138。这进一步证实了,写回权重的大小确实和信息的"新鲜程度"挂钩,而不是随便学出来的数字。

选择性参数共享:专家共享,注意力各管各的

第二个问题是参数共享该怎么安排。MoE模型里,专家网络的参数占了绝大部分存储空间,而负责捕捉词元之间关系的注意力模块只占很小一部分。

研究者的做法是:MoE路由器和专家权重继续在两次访问之间共享,只把注意力模块拆开,让两次访问各自拥有独立的注意力参数。为了在拆分注意力之后依然保持参数预算不变,他们把每层存储的专家数量从76个微调到75个,刚好填平新增的注意力参数开销。

这个设计选择背后的考量很实际。如果把MoE也拆开不共享,相当于把循环模型最核心的"参数复用"优势几乎全部放弃了,模型就退化成了一个普通的、没有循环结构的Transformer,这和整个研究的出发点背道而驰。但只拆开注意力模块,花费的参数代价极小(仅仅相当于省出一个专家的容量),却能让两次访问各自拥有适配自己分辨率的"视角"。

这就像两位同事共用一个知识库(相当于共享的专家网络),但各自配一副适合自己视力的眼镜(相当于独立的注意力模块)。知识库没必要拷贝两份,毕竟里面装的是通用知识;但每个人看东西的方式和聚焦的距离确实不一样,统一用同一副眼镜反而会让其中一个人看不清楚。

实验数据也验证了这个设计的合理性:在普通的循环MoE模型里,把注意力拆开反而会让NLL从2.0293上升到2.0319,说明这种情况下拆分没有好处;但在LatentLoop的两种压缩配置下,拆开注意力都带来了明显的改善,均值聚合加直接写回的方案NLL从2.0303降到2.0268,均值聚合加缩放解码器的方案则从2.0237降到2.0199。这说明只有当两次访问确实面对不同分辨率的输入时,独立的注意力参数才真正有用武之地。

实验结果:15组配置全面领先

研究团队在1.3B到7B参数规模之间设计了15组严格匹配资源预算的实验,训练总算力最高超过10的21次方浮点运算。所谓"匹配",是指参数量、显存占用(KV缓存)、单步计算量和总训练算力这四项指标的偏差都被控制在1%以内,确保比较是公平的。

实验结果显示,LatentLoop在全部15个预算节点上,验证集NLL都低于标准MoE模型(MoE Base)和循环MoE基线(MoE Loop)。

研究者进一步拟合了计算量与模型表现的幂律曲线,用来预测在某个固定损失水平下,不同方法各自需要多少训练算力。结果显示,要达到1.988的NLL水平,LatentLoop相比MoE Base能节省19.0%的训练算力,相比MoE Loop能节省7.9%。

下游任务的评测同样支持这个结论。研究者在九个常见的语言理解基准(包括LAMBADA、HellaSwag、PIQA、WinoGrande、ARC系列、SciQ和MMLU)上做了0样本和5样本测试,LatentLoop在全部六种"规模加样本数"的组合里都拿到了最高平均分。相比MoE Loop,5样本设置下的平均分提升幅度在0.73到1.18个百分点之间,0样本设置下提升0.17到0.67个百分点。

模型规模 | 训练token | MoE Base | MoE Loop | LatentLoop(本文方法)

1.3B / 40B | 5-shot平均分 | 51.24 | 51.18 | **51.91**

3B / 70B | 5-shot平均分 | 56.69 | 57.33 | **58.51**

7B / 140B | 5-shot平均分 | 62.19 | 62.55 | **63.40**

有意思的是,尽管理论计算量完全匹配,LatentLoop实际训练时消耗的GPU时间反而比MoE Loop更少,在3B和7B规模下分别节省了约9%和13%。研究者推测,这是因为把省下来的计算力重新分配成了更宽的模型,而更宽的矩阵运算通常能让硬件(比如GPU)跑得更有效率,减少了资源的闲置浪费。

更多visits下的规律延伸

研究者还把实验扩展到三次和四次访问的情况,发现同样的规律继续成立:越靠后的访问,学到的残差系数越大。更特别的是,相邻两次访问之间的系数比例也呈现出相似的模式,三次访问时大约是2.4倍,四次访问时大约是2.0倍。这个具体的比例为什么会出现,论文里坦承还没能完全解释清楚,留给了未来的研究。

和SpiralFormer的对照

论文还特意和另一项同样采用序列压缩思路的工作SpiralFormer做了对比。两者思路接近,但SpiralFormer更关注通过多分辨率递归来学习层次化的依赖关系,而LatentLoop聚焦于在严格匹配资源预算的前提下做公平比较,并进一步研究了写回校准和选择性参数共享。实验中直接对比两者风格的聚合与写回操作符时,LatentLoop的设计取得了更低的验证NLL。

写在后面

读这篇论文时,最让我意外的不是LatentLoop本身的架构设计,而是那组残差系数实验揭示出的现象:模型在没有任何人为引导的情况下,自己学会了"分配力气"。这说明循环结构里的两次执行,从一开始就不是对称的,这种不对称是训练过程自己涌现出来的,而不是研究者事先设计进去的。

这也让我想到一个问题:既然模型自己都在用行动投票说"第一次不用那么用力",那是不是说明我们现在对"深度"和"计算量"的理解还是太粗糙了?也许未来的模型架构会越来越倾向于承认,不同阶段的计算就应该承担不同的角色,而不是简单粗暴地堆叠相同的模块。

论文里还有个细节我觉得特别值得琢磨:写回延迟一个词元就会让学到的系数明显下降,这说明模型对"信息新鲜度"异常敏感。这和我们人类处理信息时的直觉完全吻合,却是第一次在一个语言模型的内部参数里被这么清晰地观测到。

如果第一次计算可以"偷懒",那是不是意味着还存在更多层次的"偷懒空间"没被挖掘出来?

Q&A

Q1:LatentLoop是什么?

A:LatentLoop是上海AI实验室等机构提出的一种循环混合专家模型架构,核心思路是让模型两次重复计算时分配不同的计算量,第一次处理压缩后的序列,第二次保持完整分辨率,省下的计算力用来增大模型宽度。

Q2:LatentLoop相比普通循环MoE模型能省多少计算量?

A:在达到相同验证损失(NLL为1.988)的情况下,LatentLoop相比标准MoE模型能节省19.0%的训练算力,相比普通循环MoE基线能节省7.9%的训练算力。

Q3:为什么循环模型的两次计算不应该用同样的力度?

A:研究者让模型自学两次访问各自的残差系数,发现第一次访问的系数明显更小,固定调低第一次系数还能让模型表现变好,调低第二次却会变差,说明两次计算承担的角色本来就不对等。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。