Token导航 LogoToken导航

AI 资讯 · 科技行者

Transformer弹性伸缩能力尚未被充分利用

更新 2026-11-18科技行者正文 7629字阅读约 24分钟

你有没有遇到过这样的场景:公司上线了一个AI模型,平时流量不大的时候用得挺顺畅,可一到促销季或者突发热点事件,请求量瞬间暴涨,服务器直接扛不住。这时候工程师们往往只有两个选择:要么提前备好一个超大杯的模型应对峰值,平时大部分算力都在浪费;要么准备一个省着用的小模型,结果高峰期一来,用户体验直接崩掉。

这个矛盾听起来很眼熟吧。它本质上和你家里的用电问题是一样的:夏天开空调的那几个小时用电量是平时的三倍,但电网公司总不能为了这几个小时就把全年的发电能力拉满。现实中电网的解法是调度,但AI模型长期以来没有这个能力。模型厂商发布的产品线永远只有S、B、L这几个固定尺寸,你选中杯就只能一直用中杯,不能临时榨出大杯的汁水,也不能把大杯的料省下来留着急用。

这篇来自阿姆斯特丹大学和荷兰TNO研究所的论文,标题就很直白:"你的Transformer其实一直很有弹性"(Your Transformer Is Secretly Elastic)。它想解决的问题就是:能不能让一个已经训练好的模型,在不重新训练的情况下,随时根据算力预算伸缩自己的大小?

剪枝这件事,为什么一直做不好

要理解这篇论文的贡献,得先搞清楚传统的模型压缩方法卡在哪里。

结构化剪枝*:一种模型压缩技术,通过删除整个功能单元(比如神经元或注意力头)而不是零散的单个权重来瘦身模型,好处是剪完之后能直接在普通硬件上跑得更快,不需要特殊的加速芯片支持。

结构化剪枝听起来简单,找出模型里不重要的部分,剪掉就行了。但问题是,每次剪枝都要为一个固定的目标算力生产一个专属模型。你想要支持10种不同的算力预算,就得生产、存储、维护10个不同的模型文件。更麻烦的是,如果这些模型被用来做检索(比如拿模型给图片或文本生成向量,然后去数据库里找相似内容),不同剪枝版本生成的向量可能互不兼容,你甚至得给每个版本单独建一套索引数据库。

这就好比你开了一家快递公司,为了应对不同重量的包裹,你不是买一辆可以调节载重的卡车,而是买了十辆不同吨位的卡车,每辆车还得配一套独立的调度系统和车库。维护成本直接爆炸。

那有没有"弹性"的方案?早就有人尝试过,但代价很大。有些方法需要重新设计模型架构,从零开始训练一个"嵌套"结构的模型(比如MatFormer),这意味着你手头那些已经花了几百万美元预训练好的模型全都得推倒重来。还有些方法需要对模型做大量微调才能获得弹性能力,这对于一个几十亿参数的大模型来说,微调成本依然高得吓人,而且你还得找到和原始预训练数据分布匹配的微调数据,这事儿本身就很难办。

论文提到一个前作,来自同一个研究团队的SnapViT(Simoncini et al., 2025),它做了一次很聪明的尝试:不重新训练,而是通过进化搜索去寻找一个全局的重要性排序,给每个MLP模块和注意力头打一个分数,分数越高说明越重要,推理时就可以从排名末尾往上砍。这个思路已经很接近这篇论文的做法了,但它留了一个明显的缺陷。

MLP*:多层感知机,Transformer里每个模块中负责"思考"的那部分结构,通常由两层线性变换加一个非线性激活函数组成,里面包含大量神经元。

注意力头*:Transformer里负责"关注"输入序列中不同位置关系的子模块,一个模型通常有多个注意力头并行工作,像是同时用多个视角去理解一句话。

SnapViT的做法是给每个MLP模块和每个注意力头各打一个分数,但这个分数是整体性的,模块内部神经元之间的相对排序是固定不变的。这意味着,如果一个神经元在模块内部的初始排名靠后,但实际上它很重要,你想保留它,就必须连带保留这个模块里所有排名比它靠前的神经元,哪怕那些神经元根本没用。这就像是一个班级要选拔优等生去参加竞赛,但规则却是必须按座位号顺序往后选,坐在后排的那个真正的学霸,除非把他前面所有同学都选上,否则轮不到他。

这篇论文要做的,就是打破这个座位号规则,让每一个神经元和每一个注意力头都拥有自己独立的分数,彻底摆脱组内顺序的束缚。

给每个神经元单独打分,靠的是什么

要给每个神经元单独算一个重要性分数,光靠拍脑袋肯定不行,得有理论支撑。

这篇论文采用的是二阶泰勒展开的思路。简单说,一个参数到底重不重要,可以用"如果把它删掉,模型的损失会增加多少"来衡量。这个增加量在数学上可以用损失函数对参数的二阶导数(也就是Hessian矩阵)来近似。

Hessian矩阵*:描述函数曲率的二阶导数矩阵,在这里用来衡量"删掉某个参数会让模型表现变差多少",矩阵越大计算量越夸张,所以论文只用了它的对角线部分做近似估计。

由于完整计算Hessian矩阵的开销大到不现实(参数量动辄几十亿,完整矩阵根本存不下),论文沿用前人的做法,只用对角线近似,并且通过经验Fisher信息(也就是用梯度的平方在校准数据上取平均)来估计这个对角线。对于视觉模型,用的是自监督的DINO目标函数;对于文本模型,用的是对比学习里常见的InfoNCE损失。这两种损失函数的好处是不需要标签,哪怕是自监督训练出来的模型也能直接套用。

这里出现了一个很关键的认知陷阱,论文自己也诚实地指出来了:这套对角线近似有三个明显的弱点。

一是它完全忽略了神经元之间的相互作用,假装每个神经元都是孤立存在的,但实际上神经元们是协同工作的,砍掉一个可能会影响另一个的效果。二是用来估计分数的代理损失函数(比如DINO目标)不一定真的能反映下游任务(比如图像分类、文本检索)的实际表现。三是不同模块之间、不同类型单元之间的分数根本不在一个可比的量纲上,你没法直接拿A模块里一个神经元的分数去跟B模块里一个注意力头的分数比大小。

这三个弱点,正是这篇论文接下来要重点攻克的地方。

硬剪枝不能求导,那就换个软的

这是整篇论文最核心的技术突破。

剪枝本质上是一个"要么留要么删"的二元决策,数学上这叫阶跃函数,这种函数没法求导,也就没法用梯度下降去优化。这就好比你想调整一个开关的灵敏度,但这个开关只有"完全开"和"完全关"两个状态,中间没有过渡,你根本没法判断往哪个方向微调会更好。

论文的解法是把这个硬开关换成一个可以平滑过渡的旋钮,用数学语言讲就是用sigmoid函数把硬选择变成软掩码。

软掩码*:用sigmoid函数(一种S形曲线函数)把"保留/删除"这个非黑即白的决策,转化成一个0到1之间连续取值的"软"权重,这样损失函数就能对重要性分数求导,进而用梯度下降来优化。

具体来说,对于某个稀疏度目标b(比如要砍掉40%的算力),先在当前的排序里找到一个分界线(论文里叫阈值κb,代表排在这条线上的最后一个被保留单元的分数),然后用sigmoid函数把每个单元的分数和这条分界线的距离,转换成一个0到1之间的软权重。排名远高于分界线的单元权重接近1(基本等于完全保留),远低于分界线的单元权重接近0(基本等于完全删除),而排在分界线附近的单元权重则处于中间地带,这些单元的权重对分数变化最为敏感,梯度信号也最强。

这里有个巧妙的设计细节:论文没有只盯着一个稀疏度目标去优化,而是同时设置了14个不同的稀疏度目标(从5%到70%,每隔5%一个),每一步优化都把这14个目标的损失平均起来,用这个平均损失去更新分数。

为什么要这么麻烦,同时兼顾14个目标?因为单一阈值下,只有排在分界线附近的单元才能拿到有用的梯度,远离分界线的单元基本拿不到任何学习信号。但在多个不同阈值下,一个在阈值A附近没什么动静的单元,很可能恰好落在阈值B的敏感区间里,于是在优化整个过程中,几乎每个单元都有机会被"照顾"到,拿到调整自己排名的机会。

这就像一个学校要给全校学生排名次,但你没法让每个老师都单独给每个学生面谈打分,太费时间。于是学校想了个办法:组织14场不同难度的测验,每场测验都只能精确区分出中等水平附近那一小段学生的差距(太好或太差的学生在这场测验里都是一样的满分或零分)。但只要这14场测验的难度覆盖得足够广,每个学生总有机会在某一场测验里恰好处于那个"能被精确区分"的区间,最终拼凑出一张相对完整、准确的全校排名表。如果你偷懒只组织一场测验,那些成绩远在平均线之外的学生的真实水平,你就永远无从得知。

这套流程还有一个关键约束:优化过程中模型原本的权重是完全冻结的,只调整每个单元的重要性分数(准确说是分数的对数形式,这样可以保证分数始终是正的)。这意味着优化完成之后产出的,不是一份新的权重文件,而是一份全新的排序表,推理时直接按这份排序表从底部往上砍,就能得到任意稀疏度的模型,不需要为每个稀疏度重新跑一次优化。

这个设计省下的硬盘空间和部署成本,恰恰是解决本文开头那个"多个固定尺寸模型"困境的根本手段。

实验结果:越往深处剪,优势越明显

论文在27个视觉和文本Transformer编码器上做了测试,参数规模从2200万到80亿不等,覆盖图像分类、语义分割、文本嵌入和检索四大类任务。

在ImageNet-1k的图像分类任务上,对比了五种一次性剪枝基线方法(FPTP、SparseGPT、OPTIN、VBP、SnapViT),在浅层剪枝(也就是剪掉的比例不大,比如20%、30%)的情况下,这些基线方法表现得都还可以,和这篇论文的方法差距不大。

但一旦剪枝深度超过30%,所有基线方法的准确率都开始断崖式下跌,而这篇论文的方法依然能维持相对平稳的下降曲线。举个具体的数字:在50%稀疏度(意味着砍掉一半的计算量)时,这篇论文的方法在DINOv3模型上比表现最好的对手还要高出40.3个百分点。到了60%稀疏度,差距进一步扩大到28.4个百分点(对比DeiT-III模型)。

最让人印象深刻的例子出现在DINOv3 ViT-H+/16这个大模型上。把它剪到50%稀疏度,意味着直接删掉4.27亿个参数,但在ImageNet-1k的线性探测准确率上只掉了0.8个百分点,而且整个过程不需要任何权重修正或重新训练。这个数字意味着什么?意味着原本每识别100张图片只认错大约15张的模型,剪掉接近一半的参数之后,变成认错大约16张,几乎感觉不出差别。

模型越大,剪枝的空间也越大

论文还专门研究了模型规模对剪枝效果的影响,这个发现其实挺反直觉的。

按常理想,模型参数越多,是不是意味着每个参数都更"重要",剪起来应该更小心?但实验结果恰恰相反:模型规模越大,对深度剪枝的容忍度反而越高。

拿DeiT-III系列来说,在50%稀疏度下,最小的ViT-S/16模型准确率掉了33.2个百分点,而最大的ViT-H/14只掉了5.3个百分点。DINOv3系列更夸张,ViT-B/16在50%稀疏度下掉了26.1个百分点,而更大的ViT-H+/16只掉了1.8个百分点,甚至在40%稀疏度之前几乎感觉不到性能损失。

这个现象背后的逻辑其实不难理解。越大的模型里"冗余"的部分往往越多,就像一个庞大的图书馆里,真正被频繁借阅的核心藏书可能只占一小部分,大量的书架空间其实放的是重复或低频使用的内容。剪枝就是在帮你识别并清理那些低频使用的"闲置书架",图书馆规模越大,可清理的闲置空间往往也就越多。

论文里还有一个特别有意思的发现,来自DINO WebSSL这个包含6个不同规模模型(300M到7B参数)的家族。研究者发现,把一个更大的模型(比如3B或7B参数)剪枝之后,它的表现甚至能超过直接部署一个更小的、完整未剪枝的模型(比如dense的2B或5B模型)。这意味着在选择部署方案时,与其纠结"要不要用更小的模型",不如考虑"用更大的模型剪枝之后再部署",后者可能在同样的算力预算下反而效果更好。这对实际工程决策是个挺有价值的提醒。

不过这个规模优势在文本模型上没那么明显。BGE和Qwen3这两个文本编码器家族里,模型越大,损失幅度的变化并不稳定,甚至Qwen3的4B模型在60%稀疏度下比0.6B模型损失更大。论文坦诚地指出,文本模型(尤其是基于解码器架构的嵌入模型,比如Qwen3和E5-Mistral)对深度剪枝的敏感度明显高于双向编码器(比如BGE和E5),这也是这套方法目前还没完全攻克的短板。

弹性部署:索引不用重建,查询照样提速

实际应用里有个很现实的场景:你已经用一个完整的大模型把海量数据(比如图片库或文档库)编码成向量,建好了索引,这个过程往往成本不低,不可能说变就变。但用户发起查询的时候,你希望能根据当前的服务器负载,灵活选择用多"瘦"的模型去编码这个查询,而不影响和已有索引的匹配效果。

这就是论文里说的"非对称"部署场景:索引固定不变,查询端模型弹性伸缩。实验显示,在这种场景下,基线方法在浅层剪枝时还能凑合,但一旦剪枝加深,匹配效果会迅速崩溃(比如在50%稀疏度下,表现最好的基线方法在AugReg、DINOv3、SigLIPv2三个模型上的准确率都跌破6%)。而这篇论文的方法依然能保持相对稳定的表现,在DINOv3上领先最佳对手49.4个百分点。

文本检索场景也是类似的结果,在BEIR基准测试上,这篇论文的方法在60%稀疏度下比最佳基线领先高达36.5个百分点(针对Qwen3 8B模型)。

这意味着什么?意味着你终于可以像给电动车装一个可调节输出功率的电机一样,根据实际路况(流量压力)灵活切换"经济模式"和"性能模式",而不需要换一整套底盘(重建索引)。

速度到底提升了多少

理论上的计算量(FLOPs)减少不等于实际跑起来就一定快,这中间还要考虑硬件适配、内存访问模式等一堆工程细节。论文专门做了真实的速度测试。

在A100 GPU上,用fp16精度配合torch.compile编译,把AugReg ViT-B/16剪到60%稀疏度后,吞吐量能达到原始密集模型的1.80倍,单次查询延迟降低到原来的1/1.26(也就是快了26%)。而且在不同稀疏度之间切换,平均只需要0.46毫秒,这个开销小到几乎可以忽略不计。

值得一提的是,论文发现剪枝的"切法"也会影响实际速度。如果不做任何约束,剪枝后的MLP隐藏层维度可能是一个很奇怪的数字(比如1347),这种不规整的形状在GPU上跑起来反而效率不高。如果把剪枝约束成按8或64的整数倍来砍,矩阵形状更"整齐",吞吐量能进一步提升,在eager执行模式下甚至比不做约束时快了1.63倍。不过这种硬件友好的约束也会牺牲一点点准确率,在深度剪枝时这个代价会更明显一些(60%稀疏度下大约损失3个百分点)。

这里面其实是个典型的工程权衡:你要更规整的硬件效率,还是要更精细的排序自由度,取舍上没有绝对的答案,得看具体场景对速度和精度的优先级排序。

生产一个弹性模型要多久

既然这套方法要给每个神经元单独打分再优化,会不会反而比传统剪枝方法慢很多?

论文给出的数据是,构建一个覆盖6个稀疏度目标的完整弹性模型,对于最小的ViT-S/16只需要8.7分钟,对于29倍参数量的ViT-H/14也只需要40.7分钟,时间开销的增长明显慢于参数量的增长(也就是论文说的"次线性"增长)。

和其他基线方法比起来,SparseGPT、SnapViT和FPTP确实更快一些,但都在"几分钟到几十分钟"这个量级,不算差距悬殊。真正的分水岭出现在OPTIN和VBP这两种方法上,它们处理ViT-H/14分别需要34.6小时和53.7小时,比这篇论文的方法慢了50倍以上。这个差距对于需要快速迭代、频繁部署新模型的工程团队来说,意义重大。

消融实验揭示的深层逻辑

论文还做了一系列拆解实验,试图回答几个更本质的问题。

第一个问题是,给每个神经元单独打分,这份"自由度"到底值多少钱?论文设计了一组对照实验,从最粗粒度的"每个子层一个缩放因子",逐步细化到"每个神经元一个独立分数",在相同的优化计算量下比较最终准确率。结果是准确率随着粒度精细化单调提升,从29.4%一路涨到59.7%,几乎是翻倍的差距。这个结果说明,允许更小粒度的单元独立调整相对排序,确实是性能提升的核心来源,而不只是优化算法本身更强。

第二个问题是,这套优化流程能不能"纠正"一个很糟糕的初始打分?研究者故意用一些很差的初始化方法(比如随机打分、纯粹按权重大小打分)去测试,结果显示优化之后这些糟糕的起点也能被大幅拉回来。比如用随机初始化,在20%稀疏度下优化后准确率从58.2%提升到76.8%,涨了18.6个百分点,几乎追平了精心设计的DINO初始化方案。这说明这套优化机制本身具备很强的纠错能力,哪怕你一开始的判断不太靠谱。不过在60%这种深度剪枝场景下,初始化质量依然有一定影响,好的起点还是比差的起点多出十几个百分点的优势。

第三个问题是,同时兼顾14个稀疏度目标去联合优化,会不会"顾此失彼",反而拖累某个单一目标下的表现?实验证明恰恰相反:联合优化在所有被测试的单一稀疏度点上,表现都优于专门针对那一个点单独优化的版本,差距从20%稀疏度下的0.4个百分点,扩大到60%稀疏度下的3.6个百分点。这意味着多个目标之间的信息是互补的,而不是互相竞争的资源。

这篇论文也坦率承认了自己的局限。它在视觉模型和双向文本编码器上表现强劲,但对基于解码器架构的文本嵌入模型(比如Qwen3、E5-Mistral这类生成式语言模型改造成的嵌入模型)在深度剪枝时依然比较吃力。研究团队把这个问题,以及把这套方法推广到扩散模型(图像生成)和自回归语言建模(文本生成)领域,留给了未来的工作。

写在后面

读完这篇论文,让我印象最深的其实不是那些亮眼的准确率数字,而是它对"排序"这件事的重新理解。

我们平时想到剪枝,默认的心智模型是"找出不重要的东西,删掉",这是一个静态的、一次性的判断。但这篇论文其实在提醒你,重要性从来不是一个孤立的属性,它是一个单元和其他所有单元放在一起、在特定稀疏度约束下共同决定的相对关系。同一个神经元,在这个模型要砍掉20%的时候可能很重要,但在要砍掉60%的时候,它的"重要性"排名可能需要完全重新计算,因为周围的竞争对手变了。

这让我想起招聘这件事。一个候选人在团队只缺1个人的时候可能排不上号,但如果团队突然要扩招10个人,同一个候选人的相对排名可能完全不同。这篇论文本质上是在说,"重要性"这个概念天生就是依赖上下文的,而传统剪枝方法一直在假装它是个固定不变的属性,这可能才是真正值得反思的地方。

另一个让我感到意外的细节是"更大的模型反而更容易剪"这个现象。直觉上大家总觉得大模型的每个参数都经过了精心训练,动哪个都心疼。但论文里DINO WebSSL那组实验明明白白地告诉我们,剪枝过的大模型可以比完整的小模型表现更好。这其实暗示了一件事:我们现在训练大模型的方式,可能本身就在制造大量的冗余,而不是把每一份参数都用在刀刃上。这个冗余到底是训练方式造成的,还是模型规模本身的某种必然特性,这个问题这篇论文没有回答,但确实值得继续追问下去。

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。