Token导航 LogoToken导航

AI 资讯 · 科技行者

Huginn与Ouro循环模型设计对比分析

更新 2026-11-21科技行者正文 5783字阅读约 19分钟

你有没有想过,一个只有7.3亿参数的模型,怎么能装下相当于1120个Transformer层那么大的计算量?

答案是循环。把同一组参数反复用很多遍,就像用一把钥匙开很多道门。这个思路听起来很聪明,省内存、省显存,但问题是,具体怎么循环才是对的?把哪些层拿出来重复用,输入信息要不要反复喂进去,循环状态要不要搞得花里胡哨,这些问题,在这篇论文之前,其实没人认真拆开研究过。

这就是今天要聊的这篇论文想解决的事。它来自 Institute of Foundation Models,联合了CMU、USC的研究者,标题叫《Towards Looped Models Done Right》,直译是"把循环模型真正做对"。听起来有点狂,但读完你会发现,他们确实把一个被大家糊在一起的问题,一刀一刀切开了。

一笔糊涂账是怎么形成的

循环语言模型*:一种重复使用同一组Transformer模块来增加"逻辑深度"的模型架构,目的是用更少的参数做出更深网络的效果。

这个领域目前有两大门派,一个叫Ouro,一个叫Huginn。Ouro的做法简单粗暴:把整个28层的Transformer堆栈原样复制使用,跑四轮,相当于逻辑上跑了112层。Huginn的做法复杂得多:先用8层"打底",中间夹12层反复循环8次,最后用8层"收尾",同样凑出112层的逻辑深度,但还额外加了两个机关,每次循环都把输入信息重新注入一次,循环的起始状态还要单独初始化。

问题来了。Huginn看起来效果更好,但没人知道到底是哪个机关在起作用。是因为"三明治"结构本身厉害,还是因为反复喂入输入信息厉害,还是因为那个单独初始化的状态厉害?这就跟你吃了一顿好吃的火锅,但不知道是锅底好、还是蘸料好、还是食材新鲜,各种功劳全部混在一起,分不清楚。

如果不把这几个变量拆开单独测试,你永远只能说"Huginn整体上更好",却说不出"为什么更好"。而说不出为什么,就没法把好的部分抽出来用到别的架构上,比如混合专家模型(MoE)。这篇论文做的,正是这件拆解的苦功夫。

三个被拧在一起的旋钮

研究者把循环架构抽象成一个统一的数学框架,里面有三个可以独立调节的旋钮。

迭代外壳*:指循环发生的位置和方式,比如是整个网络参与循环,还是只有中间一部分参与循环,首尾是独立的层。

输入注入*:指循环过程中要不要反复把原始输入信息"喂"回去,而不是只在最开始喂一次。

循环状态组织*:指循环的起始状态怎么来,是直接继承输入的表示,还是额外随机初始化一个状态,甚至分成"快变量"和"慢变量"两套系统。

这三个旋钮,Ouro全部拨到"简单"那一侧:外壳是全栈循环,没有输入注入,状态直接等于输入。Huginn则全部拨到"复杂"那一侧:三明治外壳,持续输入注入,独立随机初始化的状态。

研究者的做法是,从Ouro出发,一次只拨一个旋钮,看看每拨一下会发生什么。这就跟你调一台老式收音机,如果同时转音量、调台、调音色三个旋钮,你永远不知道到底哪个旋钮让声音变好了。只有一次只转一个,才能听出差别从哪儿来。

旋钮一:把循环挪到中间,到底图什么

第一个实验,他们只改外壳。把Ouro的"全栈循环4次",改成Huginn式的"8层打底+中间12层循环8次+8层收尾",参数量和总计算量完全对齐,其他一切不变。

结果相当惹眼。在336B训练数据的规模下,MATH500这个数学推理测试,从20.80分直接跳到32.80分,涨了12个点。DROP这个需要从文章里抠细节、做推理的测试,也涨了2.61分。BBH-CoT,一种考验按步骤推理能力的测试,涨了2.47分。

但同时,ARC-C这种偏知识记忆类的测试,反而掉了0.94分,代码生成测试HumanEval+也掉了1.22分。

这个结果其实很有意思。它说明三明治结构的好处,主要体现在"需要在给定材料上反复折腾、层层推导"的任务上,而不是"直接从脑子里掏知识"的任务上。研究者给出的解释是,把循环限制在中间那一小段,相当于让网络的"首尾"专心做输入编码和输出解码的工作,而中间那部分可以把全部力气都花在反复打磨同一个状态上。

这里可以打个比方。假设你要写一篇需要大量计算和逐步推导的论文,你会不会把"查资料""打草稿反复修改""最终定稿排版"这三件事完全交给同一个人同时做?大概不会。更合理的做法是,查资料的人专心查资料,打草稿的人反复修改草稿,定稿的人专心定稿,中间那个"反复修改"的环节,才是真正需要被重复利用的核心劳动力。如果让一个人同时兼顾三件事,他每做一轮都要重新适应角色,效率反而更低。三明治结构的本质,就是把"反复打磨"这件事从"输入输出"的职责中剥离出来,专心交给中间那部分重复使用的层。

但这个好处是有代价的。知识类任务依赖的是参数里存的死记硬背的东西,而不是靠反复推理能解决的。三明治结构没有增加任何新知识,它只是让推理过程更有效率,所以在知识类任务上它帮不上忙,甚至因为首尾层变薄,表现还可能略微下滑。

旋钮二:反复把输入塞回去,是帮忙还是添乱

第二个实验测试输入注入。这次保持外壳结构不变,只测试"要不要在每一轮循环前,把一份固定的输入表示重新塞进去"。

结果出现了明显的分裂。在Huginn式的三明治结构里,加上输入注入后,BBH-CoT涨了6.63分,代码测试HumanEval+涨了5.49分,MBPP+涨了4.23分,MMLU也涨了2.53分。这些任务有个共同点,都高度依赖"题目里给的具体信息",无论是函数签名、题目示例,还是文章段落。

但数学推理测试却反过来了。MATH500掉了3.60分,GSM8K掉了2.51分。

这个对比揭示了一件挺反直觉的事情。很多人会觉得"反复提醒模型输入是什么"肯定是好事,毕竟不怕记性差,怕的是忘。但对于数学题这种需要层层推导、状态要不断往前演化的任务,反复把原始输入塞回去,反而像是把一个正在专心解题的人,每隔几秒钟就拽回去重新读一遍题目。他本来已经算到第三步了,结果被硬拉回起点附近,思路被打断。

这就好比你在心算一道连续加减法,算到中间步骤,突然有人在你耳边又把原题完整念一遍。你的脑子里原本累积的中间结果,被这个"提醒"稀释掉一部分,反而更容易出错。研究者的解释也差不多:数学任务可能需要让循环状态逐渐"离开"输入的原始表示,因为中间计算结果本身才是重点,而持续的输入注入会不断把状态拉回输入附近,妨碍这种渐进式的偏离。

有意思的是,即便存在这个数学上的负面效果,把三明治结构和输入注入叠加起来的完整版本,依然在十个测试里的八个上超过了同样加了输入注入的全栈Ouro,只在ARC-C和HellaSwag两项上略逊一筹。这说明三明治结构带来的优势足够大,能够抵消输入注入在数学任务上造成的损失。

旋钮三:随机初始化和"快慢双状态",到底值不值

第三个实验测试循环状态的组织方式。这里有两个子问题:要不要用随机初始化,要不要引入"高层慢变量"和"低层快变量"两套状态系统。

关于随机初始化,很多研究者长期认为它是个"必须有"的标配,理由是能让模型在不同起点下都能收敛到同一个答案,这对需要反复迭代直到稳定的算法类任务有好处。但这篇论文的结果给了一个泼冷水的发现。相比直接把输入表示当成初始状态,随机初始化在ARC-C和GSM8K上各涨了约2到3分,但在MMLU、MATH500、HumanEval+和MBPP+上都掉了超过一分。十项测试里六项打平或变差,随机初始化并没有展现出普遍优势,还额外多了一步采样噪声的计算开销。

至于"高低双状态"的设计,灵感来自大脑里快慢两套节律系统分工合作的理论模型(HRM)。研究者设计了一个共享同一组参数的双状态版本:高层状态每隔几步更新一次,低层状态在每个高层周期里连续刷新三次,两者用同一个循环模块处理。结果是三项测试涨超一分,三项测试跌超一分,其中MATH500暴跌7.20分。换句话说,这个额外的复杂度,没有换来稳定的回报。

这三个旋钮的测试结果拼起来,画出了一张相当清晰的地图:外壳结构和输入注入是真正起作用的两个因素,而额外的状态复杂度,在共享参数的设定下,没有带来可靠收益。

这个发现本身就值得琢磨。很多架构设计上的"花活",听起来逻辑自洽,甚至有神经科学背书,但一旦放到严格对照实验里,就显露出"看起来合理不代表真的有用"的本质。这提醒我们,架构创新这件事,光靠直觉和类比是不够的,必须靠扎实的受控实验去验证。

把结论搬到MoE模型里试试水

混合专家模型*:一种神经网络架构,网络内部包含多个"专家"子模块,每次只激活其中一小部分(比如25个专家里选2个),从而在扩大模型总容量的同时控制实际计算量。

前面的所有实验都在稠密模型上做的。那这些结论能不能用到更复杂的MoE模型上?研究者把Ouro和Huginn两套完整架构,都改造成MoE版本:28个物理层,每层25个专家,每次激活2个,总共80亿常驻参数,但每次前向传播只激活7.94亿参数,循环展开后相当于320亿参数规模,激活参数应用相当于32亿。两边完全对齐,只是循环方式不同。

结果和稠密模型的结论基本一致。Huginn在十项测试里的八项超过Ouro,数学任务上的优势尤其明显,GSM8K涨了4.70分,MATH500涨了3.60分。知识类任务里,MMLU涨了2.78分,DROP涨了1.95分。

更有意思的是专家路由的表现。研究者测量了一个叫"负载均衡损失"的指标,数值越低说明专家被用得越均匀。结果显示,Huginn的均衡损失是1.571,比对照用的112层传统MoE模型的1.652还低,而Ouro是1.899,明显更不均衡。

这说明了什么?说明Huginn式的架构不仅答得更准,连"内部资源调度"都更合理,专家被分配任务更公平,没有出现某几个专家累死累活、其他专家闲着的情况。

研究者还做了一个很硬核的验证实验。他们强行冻结循环的第一轮选中的专家身份,让后面七轮循环都重复使用同一批专家,不允许中途换人。结果呢,六项测试全部掉分,MMLU掉了11.2分,ARC-Easy掉了9.6分,BoolQ掉了8.7分。

这个实验像是在做一个"排除法"证明。如果你怀疑一个团队里某个岗位是不是真的在发挥作用,一个直接的办法就是把这个岗位的人换成提前写死的脚本,看看整体表现会不会下降。结果表现大幅下降,说明"每一轮循环挑选不同专家处理"这件事,不是摆设,是真的在起作用,循环的每一轮确实在根据当前状态动态调整该交给谁处理。

和传统大模型掰手腕

最后一个对比,是拿Huginn式的循环MoE模型,去对比一个112层、完全不共享参数的传统MoE模型。这个传统模型存了320亿参数,是Huginn循环模型(80亿常驻参数)的四倍。

在同样的训练和推理计算量预算下,传统大模型在七项测试里领先,但Huginn在DROP和GSM8K上反超,MATH500打平。更关键的是,把差距拉出来看,稠密模型设定下Huginn平均落后4.96分,到了MoE设定下,这个差距缩小到了1.71分。

这说明MoE这种"按需激活"的机制,和循环架构配合起来,能进一步拉近"小身材"和"大块头"之间的差距。换句话说,循环加稀疏路由这两种"省资源"的手段叠加在一起,产生了比单独使用任何一种更明显的效果,用四分之一的常驻参数,追到了离满分只差一步的位置。

写在后面

读完这篇论文,最触动我的其实不是哪个具体的分数提升,而是它示范了一种做研究该有的较真劲儿。领域里两大门派打了很久的架构之争,但没人真的把变量拆干净过。这篇论文花了大量篇幅,就是在做这件"拆干净"的苦活。

有一个细节我觉得特别值得单独说一说。研究者发现,输入注入对数学推理是负面的,但对知识检索和代码生成是正面的,这个分裂在稠密模型和MoE模型里重复出现了两次,说明这不是偶然的噪声,而是一个比较稳定的现象。这提示我们,未来做循环架构设计的时候,可能不该追求一套"放之四海而皆准"的注入策略,而是要根据任务类型动态调整要不要反复提醒模型"原始输入是什么"。这个思路如果往前推一步,甚至能联想到人类学习中的一个现象:死记硬背知识的时候,反复复习原始材料有帮助;但做复杂推理题的时候,反复回头看题目反而容易打断思路,高效的做法往往是读一遍题,然后专心推导,中途尽量少回头确认。

另外一个让我意外的地方是随机初始化的"失宠"。这个设计在循环模型和不动点理论的文献里几乎是标准配置,这篇论文的受控实验却显示它在实际语言建模任务里收益寥寥。这倒不是说随机初始化没用,论文也坦诚地指出,他们没有测试"路径独立性"和"超出训练深度的外推能力",这些场景下随机初始化或许仍有价值。只是提醒我们,一个理论上优雅的设计,不代表在具体任务和具体规模下也优雅。

论文最后也没有藏着不谈局限性。规模还只做到7.3亿参数和MoE下80亿常驻参数,没有验证在百亿甚至千亿规模下结论是否依然成立,多次随机种子重复实验也还没做。这些都是诚实的留白,也是留给后续研究者的空间。

如果你是做模型架构设计的人,这篇论文给你的提示可能是:下次设计一个新机制之前,先问问自己,这个机制到底在解决什么具体问题,它的代价又是什么。不要只因为"听起来合理"或者"有生物学灵感"就直接拿来用。

Q&A

Q1:Huginn和Ouro这两种循环模型架构最核心的区别是什么?

A:Ouro是把整个Transformer堆栈原样重复使用,输入直接作为循环起始状态。Huginn则是只让中间一部分层参与循环,首尾各有独立的层做输入编码和输出解码,并且每轮循环都重新注入一份固定的输入表示,循环状态还单独初始化,而不是直接继承输入。

Q2:输入注入机制对所有任务都有帮助吗?

A:不是。实验显示输入注入对知识检索、上下文理解和代码生成类任务帮助明显,比如BBH-CoT涨了6.63分,但对数学推理类任务反而有负面影响,MATH500和GSM8K都出现了下降,因为反复注入可能打断了推理状态的渐进演化过程。

Q3:循环架构用到混合专家模型(MoE)上还有效吗?

A:有效。论文把Huginn和Ouro都改造成MoE版本做对比,在相同参数预算下Huginn在十项测试的八项上超过Ouro,专家负载也更均衡,而且用四分之一的常驻参数就在部分任务上追平甚至超过了四倍参数规模的传统MoE模型。

文章标签大模型

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。