Token导航 LogoToken导航

AI 资讯 · 科技行者

字节跳动等提出DScout解析AI预测与吞吐量矛盾

更新 2026-11-22科技行者正文 7068字阅读约 23分钟

你可能觉得,让AI模型一次性多猜几个字,总归比一个字一个字蹦出来要快。

这个直觉大体没错,但2024年以来,一批研究者发现事情没那么简单。有些模型明明猜得更准了,整体生成速度却没怎么涨,甚至更慢了。这篇来自字节跳动、卡内基梅隆大学和弗吉尼亚理工的论文,就是在拆解这个让人困惑的现象,并给出了一套解决方案,叫DScout。

大模型回答问题的时候,是一个字一个字往外蹦的。你问它一个问题,它要算出第一个字,再拿这个字去算第二个字,一直算到说完为止。这个过程叫自回归生成

*自回归(Autoregressive,简称AR):模型每生成一个新词,都要基于之前所有已生成的词重新做一次完整计算,像接力跑一样一棒接一棒,没法并行。*

这个"一棒接一棒"的方式慢得让人着急。于是有人想了个办法:找一个小模型打下手,先替大模型"猜"出接下来几个字可能是什么,大模型再一次性检查这些猜测对不对。猜对的就直接采用,猜错的就从那里截断重新来。这套流程叫投机解码

*投机解码(Speculative Decoding):用一个轻量级的"草稿模型"先快速生成多个候选词,再让大模型一次性并行验证这些候选词是否正确,对的就接受,错的就丢弃重算。*

这个思路的妙处在于,大模型做验证比做生成快得多,因为验证可以并行计算,不用一步步来。打个比方,你让一个资深编辑审稿,比让他从头写一篇文章要快得多。审稿时他可以一眼扫过去判断对错,而写作必须一句接一句构思。投机解码就是把"写"的活儿外包给小模型,大模型只负责"审"。

问题是,这个小模型(草稿模型)要怎么猜才最有效率?

早期的草稿模型也是一个字一个字猜的,速度有限。后来有人琢磨,能不能让草稿模型一次性把好几个字都猜出来?这就是扩散草稿模型的由来,论文中提到的DFlash就是这类方法的代表,它用一种叫块扩散的技术,一次前向传播就能生成整段草稿

*扩散草稿模型(Diffusion Drafter):不像传统方法那样一个字一个字生成候选词,而是借用图像扩散模型"从模糊到清晰"的思路,把一整块待预测的位置同时"揭晓"出来,一次计算搞定多个预测。*

听起来很美好,猜得又快又多,应该稳赚不赔吧?

论文开头就泼了一盆冷水:更强的并行预测能力,不代表更高的吞吐量。

这是整篇论文最值得琢磨的反直觉之处。按常理,你让草稿模型预测能力更强、猜对率更高,总体速度应该跟着涨。但实验数据显示,有些配置下草稿模型猜得更准了,实际吞吐量却纹丝不动,甚至下降。这背后藏着两个容易被忽略的机制。

验证规则是"一票否决",前面错了后面全白搭

先说第一个机制。大模型验证草稿的时候,有个硬规则:只接受从头开始连续正确的那一段,一旦某个位置猜错了,后面哪怕全对也不算数。

论文里给了一个精确的数学描述。假设草稿模型一次性猜了好几个词,设N是被验证通过的词数,那么每一轮能被接受的词数期望值,等于前面所有位置都答对的"存活概率"累乘求和。换句话说,第10个位置的预测要想真正发挥作用,前面9个位置必须全部命中。

这就是为什么论文反复强调"前缀依赖"这个概念。

你可以想象一个多米诺骨牌游戏,但规则很特殊:裁判只认从第一块倒下开始、连续倒下的那一串,中间只要有一块没倒,后面倒得再整齐也不算分。如果你只顾着让第15块、第20块骨牌排列得更精密,却没管好第3块容易被风吹倒的问题,那些精心设计的后段骨牌永远没有机会展示自己。如果不优化这种前缀依赖关系,草稿模型的训练目标和验证规则就会脱节,模型在后面位置上拼命优化的预测能力,大概率派不上用场。

这解释了论文观察到的现象:固定训练和推理窗口都设为16个词的时候,10.9%的验证轮次能把整段草稿全部接受,这说明模型其实有能力猜得更长。于是研究者把训练和推理窗口都拉长到32,结果准确长度确实拓展了,但同时"猜1到4个词就被打断"的比例也上升了,说明窗口拉长带来了更多早期出错的情况。窗口变大,模型要同时兼顾的预测跨度也变大,早期位置的预测质量反而被稀释了。

吞吐量不只看猜得准不准,还要看每一轮花多长时间

第二个机制更直接:就算你真的提高了平均接受词数(论文称为MAT,Mean Accepted Tokens),如果每一轮的草稿生成加验证所花的时间也跟着涨,那总体速度未必会提升。

论文把吞吐量拆成一个简单的比值:吞吐量等于MAT除以单轮延迟。

*MAT(平均接受词数):每一轮投机解码中,平均有多少个草稿词被大模型验证通过并采纳,数值越高说明草稿命中率越好。*

这个公式看似简单,但指导意义很大。它意味着,任何想要提升吞吐量的改动,都必须同时回答两个问题:这样做能不能让MAT涨上去,这样做会不会让单轮延迟也跟着涨,涨的幅度划不划算。

这就好比一家外卖配送站在纠结是不是该让骑手一次多带几单。多带几单确实能让骑手"一趟顶几趟",相当于MAT变高了。但如果货太多导致骑手得绕远路、送达时间被拉长,单轮(也就是一趟配送)的耗时也跟着涨,最后算下来总配送效率未必提升,甚至可能因为超时投诉变得更糟。如果不把"单趟耗时"也纳入考量,只盯着"一趟能带几单"这一个指标,很容易做出得不偿失的决策。

搞清楚了这两个机制,DScout的设计思路就顺理成章了:训练阶段要让模型的预测能力真正匹配验证规则里的前缀依赖,推理阶段要在MAT和延迟之间找到那个让吞吐量最大化的平衡点。

训练阶段:把每个位置的损失拆成三个独立的齿轮

论文提出了一个很巧妙的分析框架,把每个预测位置的训练损失拆成三个因子相乘:这个位置要不要计入训练(inclusion)、这个位置的权重该打多少(weighting)、以及这个位置本身的预测损失怎么算(prediction loss)。

这个拆解的意义在于,你可以分别调整这三个齿轮,而不用每次都从头设计一套全新的训练方法。基于这个框架,论文设计了三套组合策略。

第一套策略叫混合窗口训练。前面提到过,固定用32这个长窗口训练,会导致早期位置出错变多。研究者的解法是,训练时不再固定一个窗口长度,而是让8、16、24、32这四种长度轮流出现,频率均等。

这样做的效果是,模型会被迫更多地关注短窗口下的早期预测质量,同时又不丢失对长窗口、长距离预测的覆盖能力。论文的实验图显示,混合窗口训练相比固定32训练,明显减少了"猜1到4个词就被打断"的早期出错比例,同时依然保留了猜中超过16个词的长串命中能力。

这就像一个运动员的训练计划。如果教练只让他练马拉松全程配速,短跑爆发力会被忽略,比赛一开场就可能落后太多,哪怕后半程体力分配得再合理也追不回来。如果换成短跑、中长跑、马拉松交替训练,运动员会在各种距离下都保持相对均衡的状态,不会因为专攻某一项而在另一项上掉链子。如果不采用混合窗口,模型会像只练长跑的运动员一样,在短距离预测上吃亏,而短距离恰恰是投机解码里最容易被"一票否决"的脆弱环节。

第二套策略叫块内部分揭示。

*块内部分揭示(Intra-block Unmasking):训练时不是把整个待预测区块全部遮住,而是随机揭开其中一部分真实答案作为上下文,只让模型预测剩下被遮住的部分,这样模型能见识到更多样的预测场景。*

这个思路借鉴了扩散语言模型里常见的数据增强手段。原来的做法是把整个未来区块全部遮住,让模型蒙眼预测;现在改成按一定概率随机揭开一部分,让模型在"知道部分答案"的情况下预测剩下的部分。这相当于给模型提供了更丰富的训练场景,不再是单一的"全盲猜测"模式。

论文的实验也验证了,这个策略要和混合窗口策略配合使用才有效。单独把揭示策略加到{4, 8, 16, 32}这种包含很短窗口的组合里,反而效果变差,因为窗口太短时可供遮盖的位置本来就不多,揭示掉一部分之后,剩下能学习的信号就更稀薄了。研究者因此把短窗口的下限从4调整到8,避免了这个问题。

第三套策略是这篇论文最有意思的创新,叫接受度加权损失,简称AWL。

*接受度加权损失(Acceptance-Weighted Loss, AWL):不再给每个位置固定的权重,而是根据"这个位置在真实验证流程里有多大概率被轮到"来动态调整它在训练损失里的权重,越靠后、前面越容易出错的位置,权重会被自动压低。*

这个设计的核心洞察是:以前的方法虽然也会给靠前的位置更大权重(位置衰减),但这个权重是固定写死的,不会根据具体样本的情况变化。AWL则引入了一个动态计算的接受度分数,用标准的投机采样接受规则,计算草稿模型在每个位置的预测,被目标大模型"认可"的概率有多大,然后把这些概率逐位连乘,作为该位置损失的权重。

训练刚开始的时候,草稿模型预测能力很弱,接受度分数普遍偏低,连乘下来后面位置的权重会被压得很小,训练信号自然集中在区块最前面几个位置。随着模型在早期位置上越来越准,累积接受度分数升高,后面位置才会逐渐获得更多训练权重。这个过程本质上是让训练的"注意力"跟着验证规则的真实约束走,而不是人为设定一个固定的衰减曲线。

这让我想起带新人的场景。一个新员工刚入职,经理不会一上来就让他独立负责整个项目的所有环节,而是先盯紧他最基础、最容易出错的那一步,等这一步稳了,再逐渐放手让他接触后面更复杂的环节。如果一开始就把注意力平均分散在所有环节上,新人大概率在最基础的地方就摔跟头,后面学得再好也没用,因为流程本身可能在第一步就被叫停了。AWL就是把这种"抓基础、再放权"的策略,变成了一个可以自动随训练进度调整的数学公式。

论文的消融实验显示,这三套策略叠加起来,MAT从固定16窗口训练的基线一路涨了16.1%,而且AWL贡献的增量是三者中最大的一块。

这里要澄清一点,论文作者很诚实地指出,这些策略的增益不是简单相加的关系,而是有重叠效应的。比如混合窗口和块内揭示都作用在"哪些位置参与训练"和"预测损失怎么算"这两个因子上,所以两者组合起来的提升,小于各自单独提升之和。这种实事求是的态度,让整个分析框架显得更可信。

推理阶段:三个旋钮,一个一个拧

训练把模型的预测能力打磨好了,接下来是部署的问题。论文把推理阶段要调的配置归纳成三个维度:目标模型条件化深度、草稿模型本身的深度、以及推理时每轮猜测的区块大小。

第一个维度,目标条件化深度,问的是:草稿模型在做预测的时候,要参考大模型多少层的隐藏特征?

*目标条件化(Target Conditioning):草稿模型不是凭空预测,而是会读取大模型内部多个层的中间计算结果(隐藏特征),把这些信息融合进自己的预测过程,层数越多,参考的信息越丰富。*

直觉上,参考的层数越多,信息应该越丰富,预测应该越准。但论文做了细致的成本分析后发现,这个"多读几层"的操作本身代价极低。原因在于,大模型本来就要把所有层的特征算出来(这是它自己生成文本的必经之路),草稿模型只是"顺手"多拿几层的现成数据,不需要大模型额外多算什么。实测数据显示,从读取9层特征增加到读取全部35层,吞吐量的变化幅度不到1%,某些设置下甚至只下降了0.53%。

这个结论的实际意义是:既然"多读几层"几乎不花钱,那就没必要省着用,干脆把能拿到的层全部用上。论文据此确定,Qwen3-8B模型最终采用的配置里,目标条件化层数直接拉满到35层。

第二个维度,草稿模型深度,情况就复杂一些了。

草稿模型本身也是个神经网络,有自己的层数。层数越多,预测能力通常越强,但每多一层都要多算一遍,是实打实的计算开销,不像读取目标模型特征那样几乎免费。

论文做了细致的实验,测量草稿模型从2层加到12层时,每多加一层带来的MAT增量。数据显示出清晰的边际递减规律:从2层加到3层,MAT猛涨零点几分;但到了8层以后再往上加,增量已经微乎其微,甚至在某些区块大小下,12层相比8层的增量是负的。

与此同时,论文又做了另一组实验,专门测量延迟和层数的关系,发现在固定接受长度的条件下,延迟几乎和层数呈线性增长,拟合优度(R方)高达0.9975。

把这两组观察结合起来,论文给出了一个数学证明:在MAT增量递减、延迟线性增长(或者增长速度不减)的前提下,吞吐量关于层数的曲线一定是单峰的,先涨后跌,不会出现涨跌反复的情况。这意味着,只要找到这个峰值,就不用傻乎乎地把每一个层数都试一遍,用二分搜索这类方法就能快速定位。

这就像往一碗汤里加盐。刚开始加一点盐,鲜味明显提升,你会很乐意继续加;但加到某个程度之后,再加盐带来的鲜味提升越来越不明显,而咸度的副作用却在稳步累积。总有一个点,过了这个点,继续加盐只会让汤变得又咸又不好喝。如果你不清楚这个"先升后降"的规律,可能会一路加到底,以为盐越多越好,结果把整锅汤毁掉。草稿模型的层数选择也是同一个道理,盲目堆层数不会一直带来好处,找到那个甜蜜点才是关键。

论文实测发现,Qwen3-8B模型在区块大小为16、24、32的设置下,6层草稿模型的吞吐量最高;而区块大小为8时,4层反而是最优的。这也说明,没有一个放之四海而皆准的"最佳层数",具体数字要跟着区块大小一起调。

第三个维度,推理区块大小,指的是每一轮草稿模型要一次性猜多少个词。

这里论文又用上了前面提到的混合窗口训练技巧。因为训练时已经让模型见识过8、16、24、32这几种不同长度的窗口,所以同一个训练好的模型,不需要重新训练,就可以在推理时灵活切换区块大小,哪种区块大小在当前任务下吞吐量最高,就用哪种。

论文的表格数据显示,用混合窗口训练出来的模型,在8、16、24、32这四种推理区块大小下的MAT表现,全面超过只用固定32训练的模型,同时在16这个区块大小上,表现也接近专门针对16训练的模型。这证明了混合窗口训练的通用性:一个模型打天下,不用为每种部署场景单独训练一个版本。

实测效果:速度提升真金白银

把训练策略和推理配置选择结合起来,DScout在六个标准测试任务(涵盖数学题、代码生成、聊天对话)上进行了验证,对比对象包括EAGLE-3、DFlash、PARD-2这几个业内知名的投机解码方法。

核心数据如下:在Qwen3-4B模型上,DScout相比传统逐词生成(自回归)实现了3.84倍的平均加速;在Qwen3-8B模型上,这个数字是4.14倍。和同类最强方法DFlash相比,DScout分别快了9.1%和7.1%。

更值得关注的是,在不同模型和不同并发请求量的服务场景下,单靠灵活选择推理区块大小(不需要重新训练模型),就能比固定用区块大小16的配置额外提速最多9.75%。这个发现的实际价值在于,一个服务部署团队不需要为每种流量场景单独训练一套模型,只需要用混合窗口训练好的那一个模型,根据当下的并发情况实时切换区块大小就够了。

论文还提到一个值得玩味的细节:在高并发(32个请求同时处理)的场景下,某些情况下选择更短的区块大小反而比长区块跑得快,即便MAT因此降低了。这是因为高并发时每一轮的计算资源被多个请求分摊,草稿区块太长会拉长单轮耗时,抵消了多猜几个词带来的好处。这进一步印证了论文开篇提出的那个核心观点:MAT高不等于吞吐量高,必须两者一起看。

写在后面

读完这篇论文,最触动我的是那个"一票否决"的验证规则所引出的连锁反应。

很多时候我们评价一个预测系统,习惯性地盯着"准确率"这一个指标,觉得准确率越高系统就越好。但这篇论文提醒我们,准确率这个指标本身也要看它是怎么被使用的。如果使用规则是"连续正确才算数",那么分散在各个位置的准确率提升,价值是不均等的,排在前面的准确率提升,价值远高于排在后面的。这个洞察其实可以推广到很多场景,比如一个产品的推荐列表,用户往往只看前几条,那么优化推荐系统时,前几条的准确率提升就比第十条之后的提升重要得多,哪怕后者在纯数字上看起来一样漂亮。

另一个让我反复琢磨的地方是AWL这个设计。它没有用一个固定的公式去描述"哪个位置更重要",而是让重要性随着模型自己的训练进度动态变化。这种"自适应权重"的思路,本质上是把优化目标和实际使用场景的约束直接挂钩,而不是凭经验拍脑袋设一个衰减曲线。这种做法在很多工程问题里都有迁移价值,只要你能把"这个东西在实际使用中会不会被用到"量化出来,就可以把这个量化结果反馈进训练过程。

论文里也坦诚地留了一个尾巴:目前的区块大小选择是针对每个模型和并发设置提前测好、固定下来的,并没有做到实时根据当下的接受率和延迟动态调整。作者在讨论部分提到,一个自然的延伸方向是做一个在线策略,让系统根据最近几轮的实际表现,动态调整区块大小。这个方向如果做成了,会不会进一步逼近理论上的最优吞吐量?这个问题留给了后续的研究者。

Q&A

Q1:DScout是什么?

A:DScout是一种让AI大模型生成文字更快的技术,通过优化扩散草稿模型的训练方式和推理配置选择,在保证输出质量不变的前提下大幅提升生成速度,最高能达到4.14倍于传统逐词生成的速度。

Q2:为什么草稿模型猜得更准,整体速度却不一定更快?

A:因为验证规则是"连续正确才算数",前面位置猜错了,后面猜得再准也不算,另外猜得多也会增加每轮计算耗时,如果耗时增加抵消了多猜的收益,整体吞吐量反而不会提升,这正是论文强调的MAT与延迟要一起权衡的原因。

Q3:接受度加权损失(AWL)具体是怎么起作用的?

A:AWL会根据每个预测位置在真实验证流程中被轮到的概率,动态调整这个位置在训练损失里的权重,训练初期模型预测能力弱,后面位置权重会被压低,随着早期预测变准,后面位置权重才逐渐提升,让训练目标更贴合验证规则的实际约束。

文章标签AI资讯

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。