你有没有遇到过这种情况:在IDE里用AI补全代码,明明只是把一个`if value > 0`里的`>`改成`>=`,光标一移动,AI却像没看见这点小改动一样,吭哧吭哧把整段函数从头到尾重新生成一遍,你盯着屏幕等它一个字一个字往外蹦,心里想这不是脱裤子放屁吗。
这不是夸张,这是今天绝大多数AI编程助手的真实工作方式。字节跳动的一个研究团队把这个问题盯上了,写了一篇论文,叫《Diff Diffusion》,专门解决这个让人抓狂的效率黑洞。
**核心问题出在哪**
先说说现在主流的两条技术路线,都有各自的硬伤。
第一条路线是自回归模型
自回归模型*:也就是我们熟悉的GPT类模型的生成方式,一个词接一个词往后蹦,像说话一样一个字一个字说出来,不能跳着说,也不能说完了回头改。
这种模型有个致命问题,它生成代码是严格从左到右的,哪怕前面90%的代码一个字都没变,它也得从头开始,一个token一个token地把这些没变的部分重新"念"一遍。打个比方,你让一个打字员帮你改一份100页的合同,其中只有第37页有一个错别字要改,结果这个打字员坚持把100页全部重新打一遍,一个字都不能跳过,因为他的工作方式就是只能从第一页开始按顺序打。如果不这么设计会怎样?论文里的实际数据是,自回归基线模型在一个典型任务里要走126步解码,耗时3964毫秒,接近4秒。对于一个要求实时响应的IDE插件来说,这个延迟用户是能明显感觉到卡顿的。
第二条路线是扩散语言模型
扩散语言模型(dLLM)*:一种不同于自回归的生成方式,它不是一个字一个字往后蹦,而是先把整段文字变成"模糊"的噪声状态,然后通过多轮"去噪"同时把多个位置的内容还原出来,有点像拼图时不是从左上角一块一块拼,而是好几个人同时在拼图的不同区域动手。
这类模型比如Mercury、Gemini Diffusion、Seed Diffusion,还有开源的DiffuCoder、Dream-Coder,在代码生成任务上已经证明了自己的实力,因为它们能并行处理多个位置,理论上比自回归快得多。但问题是,这些模型骨子里设计的任务是"从一堆噪声里生成一整段全新代码",不是"在已有代码基础上做局部修改"。所以当你只想改一个符号的时候,掩码扩散模型(masked diffusion)往往还是得把整个序列重新"去噪"一遍,哪怕90%以上的代码根本不需要动。这就好比你请了一个很厉害的修复师来修一幅古画,这幅画只是边角有点破损,结果修复师的工作流程是先把整幅画用白布盖住,然后重新画一遍,技术很好,但完全没必要这么大动干戈。
这两条路线放在IDE编辑预测这个场景里都不太合适,因为真实的编程场景有个特点,改动通常是稀疏的、局部的、而且大部分原始代码要原封不动地保留下来。论文里提到一个关键观察:开发者写代码时更多的行为是编辑和微调已有代码,而不是从零生成一整段新代码。这正是Diff Diffusion想要解决的问题。
**Diff Diffusion到底改了什么**
Diff Diffusion的思路说起来其实不复杂:既然大部分代码不需要动,那为什么不干脆把"去噪"这件事,从"重新生成整段文字"换成"预测一条编辑路径"呢?
具体来说,研究团队把原来掩码扩散模型里那种单纯的"填空"任务,改造成了一套编辑动作系统。模型在每一步要对当前代码的每一个token打一个标签,一共五种可能:
保持不变(直接吐出原token的id);删除这个token;在这个位置前面插入一个待填充的掩码;把这个token替换成待填充的掩码;给一个掩码位置填上具体的代码内容。
掩码*:在扩散语言模型里,指一个还没确定具体内容的占位符位置,模型要做的工作就是逐步把这些占位符填成真实的代码token。
这套机制的妙处在于,它把"改代码"这件事拆解成了结构化的编辑动作,而不是笼统的"重写一遍"。举个例子,你原来的代码是`if value > 0:`,想改成`if value >= 0:`,在Diff Diffusion的框架里,模型只需要标记`>`这个token为替换,其他所有token,包括`if`、`value`、`0`、冒号,全部标记为"保持不变",一步到位。不需要把整行代码都当成噪声重新生成。
这就好比你有一份Word文档要改一个标点符号,Word的"修订模式"只会标记出你改动的那个字符,其他内容原封不动地显示着,而不是把整篇文档删掉重打。如果Diff Diffusion不这么设计,而是继续沿用传统掩码扩散的全量重生成思路,那么即便模型内部用了并行解码技术,它依然要在每一步处理整条序列的每一个位置,计算量根本降不下来,这也是为什么论文里反复强调这套方法的核心价值就是"跳过不需要改的部分"。
论文里还专门设计了插入和删除动作,这让输出长度可以自然地变化,不用像很多掩码扩散模型那样,必须先固定一个输出长度的"画布"再往里面填内容。这个设定其实挺关键的,因为代码编辑经常涉及加一行或者删一行,如果模型只能在固定长度的框架里腾挪,那很多真实的编辑场景根本没法表达。
**训练数据严重不均衡,怎么办**
这里有个很现实的问题:在真实的代码编辑数据里,绝大多数token都是"保持不变"的,插入、删除、替换这些真正重要的编辑动作只占很小一部分。如果不做特殊处理,模型很容易"偷懒",学会一个简单粗暴的策略,就是无脑预测"保持不变",这样在训练集上的准确率看起来还不错,但完全学不会真正有价值的编辑判断。
研究团队的应对办法是在损失函数里给插入、删除、替换这三类动作加权,权重设成了5,而"保持不变"和普通token预测权重是1。这意味着模型在训练时,每做错一次真正的编辑判断,付出的代价是做错一次"该不该保持不变"判断的5倍。这跟老师批改作业时的道理差不多:如果一份卷子里有95道送分题和5道压轴题,老师要是给每道题都打一样的分值,学生大概率会把精力都花在刷送分题上,根本不会去啃压轴题。只有把压轴题的分值调高,学生才会真正重视它。模型训练也是这个道理,用权重把稀疏但关键的编辑动作的学习信号放大,才能逼着模型把注意力放在真正难的地方。
**三阶段训练,一步步教会模型"怎么改代码"**
Diff Diffusion没有指望一次训练就把模型调教到位,而是设计了一套循序渐进的三阶段训练方案。
第一阶段叫大规模Git提交持续预训练,用的是CommitPack这个数据集的多语言子集,规模达到了870亿token。这一阶段的目标很朴素,就是让模型先学会"diff"这种数据格式长什么样,毕竟开源仓库里的每一次代码提交本身就是一次"从旧代码到新代码"的真实样本,天然适合用来教模型理解编辑是怎么发生的。
Git提交(commit)*:开发者每次把代码修改保存到版本控制系统时产生的一条记录,包含修改前后的代码差异。
第二阶段是代码编辑监督微调,这一步要把模型从"看懂历史提交记录"升级到"能处理IDE场景下真实的编辑预测任务"。训练样本里包含原始代码片段、周围上下文、历史编辑记录和目标片段,训练数据结合了C3PO训练集和团队自己收集的高质量编辑预测数据。
第三阶段叫高级后训练,这是整篇论文里技术含量最高的部分。研究团队意识到一个问题:前两个阶段训练时,模型看到的中间状态都是人为构造出来的,是从原始代码和目标代码之间用算法"对齐"出来的,但实际推理的时候,模型要不断地在自己生成的中间状态上继续往下走,这两者之间存在一个落差,用学术的说法叫"训练和推理的分布不一致"。如果不解决这个问题,模型在真实场景里很容易"一步错步步错",因为它从没在训练时见过自己犯错之后产生的那些中间状态。
针对这个问题,团队搞了两套机制:Diff-DPO和AGRPO。
Diff-DPO是偏好学习的思路,用一对"正确的编辑方向"和"模型自己生成的错误编辑方向"做对比,训练模型更倾向于往正确方向走,同时用一个参考模型拉住更新的幅度,防止训练跑偏太远。
DPO(直接偏好优化)*:一种不需要单独训练奖励模型的对齐方法,直接用"好答案"和"坏答案"的对比来调整模型,让模型更倾向于输出好答案。
AGRPO则是在线强化学习的方案,团队调研了近期扩散模型和流匹配模型相关的强化学习方法后选定了这条路线。具体做法是让模型针对同一个编辑任务采样8条完整的编辑轨迹,看哪条轨迹最终改对了代码,给对的轨迹正向奖励,错的给负向奖励,再用"组内相对优势"的方式把绝对奖励转化成相对排名,这样可以避免不同任务难度差异导致的奖励不可比问题。为了控制计算成本,如果一条轨迹步数超过25步,只抽样25步来做梯度估计,而不是把所有步都算一遍。
这种设计思路挺像教练训练运动员的方式。如果一个跳水运动员一次跳水动作里有10个分解步骤,教练不可能每一步都精确打分再反馈,太低效了,但教练可以让运动员完整跳几次,只看最后入水效果好不好,然后把这个整体评价反推到几个关键分解动作上去纠正。AGRPO本质上就是这个思路,用最终结果是否正确作为奖励信号,反过来指导中间那些去噪步骤的调整方向。
**推理阶段怎么做到更快**
光有模型架构上的创新还不够,Diff Diffusion团队还专门搭了一套推理引擎,用来把"少走几步"真正转化成"响应更快"。
这里有三个关键的工程优化。
第一个是分块并行编辑解码。核心思路是把需要重写的范围切成若干个局部块,在每个块内部并行应用高置信度的编辑,同时用原始代码里没变的token作为左右两边的"锚点",约束住编辑的边界,不让模型乱改。另外插入动作的长度是自适应的,如果模型对某个插入区域的内容很有把握,一次插入动作就能直接吐出好几个连续的token,不用非得一个一个蹦出来。
第二个是近似KV缓存复用。
KV缓存*:Transformer模型推理时为了避免重复计算,把之前算过的注意力键值对保存下来复用的一种加速技巧。
这里有两层优化,一层是针对请求内的稳定上下文,比如系统提示词和没怎么变化的文件内容,直接复用缓存;另一层是针对长序列编辑场景下,如果只是中间一小段要改,后面一大截代码其实原封不动,团队借鉴了PIE的思路,对这部分后缀做了位置编码修正之后直接复用缓存,省去重新计算的开销。
**实测效果怎么样**
说了这么多设计思路,最终还是要看数据说话。
在公开的C3PO编辑补全基准上,Diff Diffusion的结果准确率是81.33%,跟自回归基线的83.18%比起来确实略低了一点,但解码步数从14.62步降到了3.90步,单样本推理时间从403毫秒压缩到145毫秒,整体提速2.78倍。论文里对准确率略低做了解释,这跟此前一些研究发现的规律是一致的:扩散语言模型往往需要更大规模的训练数据和更多轮次才能真正超过自回归模型,而C3PO这个训练集相对偏小,没有把模型的潜力完全压榨出来。
团队还专门构建了一套更贴近IDE真实场景的评测集,拆成了五个子项:
Act衡量该出手时模型能不能正确识别并完成下一步编辑;Stay衡量不该改的时候模型会不会瞎改;Multi-line衡量跨行联动编辑的能力,比如同时改函数参数和调用链;Roll-back衡量模型会不会错误地撤销用户刚做的修改;Delete衡量模型会不会误删本该保留的代码。
在这套评测上,经过三阶段训练后的Diff Diffusion表现是这样的:Act从CT阶段的41.80%一路提升到AGRPO阶段的50.00%,Stay从89.21%提升到96.40%,Multi-line从68.42%提升到73.68%,同时Delete一直稳定在0.5%的低水平。相比之下,作为对照组的Mercury-Coder在这套场景化评测里表现相当差,Act只有31.97%,Stay只有54.32%,Roll-back更是高达52.5%,说明一个在通用代码生成任务上表现不错的扩散模型,不经过针对性的编辑预测训练,直接拿去做IDE场景任务是不够用的。
| 模型 | Act(%)↑ | Stay(%)↑ | Multi-line(%)↑ | Roll-back(%)↓ | Delete(%)↓ |
|---|---|---|---|---|---|
| AR基线 | 45.90 | 91.73 | 68.42 | 9.0 | 1.0 |
| Mercury-Coder | 31.97 | 54.32 | 36.84 | 52.5 | 19.5 |
| Diff Diffusion+CT | 41.80 | 89.21 | 68.42 | **7.0** | **0.5** |
| Diff Diffusion+CT+SFT | 49.18 | 89.21 | **73.68** | 9.5 | **0.5** |
| Diff Diffusion+CT+SFT+DPO | 49.18 | 92.45 | 68.42 | 7.5 | **0.5** |
| Diff Diffusion+CT+SFT+AGRPO | **50.00** | **96.40** | **73.68** | 10.0 | **0.5** |
推理延迟方面,在140个token的重写范围下,自回归方案需要126步解码,总耗时3964毫秒,Diff Diffusion只需要大约5步,耗时压缩到415到420毫秒左右。有意思的是,在这个较短的场景下,PIE那套后缀缓存复用机制反而没起到明显加速作用,因为这个规模下两种方案都已经是内存瓶颈限制了,额外的缓存管理开销反倒抵消了一部分收益。但在1024个token的长重写场景下,PIE的优势就体现出来了,把总耗时从784毫秒进一步压到676毫秒。这说明工程优化不是放之四海而皆准的,得看具体场景的特点。
最有说服力的还是线上A/B测试的结果。团队把Diff Diffusion真正部署到生产环境里跑了一轮真实用户的在线测试,对比指标包括接受率、CPO(每次用户操作AI贡献的字符数)、用户实际采纳的代码行数,以及P50模型推理延迟。
| 模型 | 接受率 | CPO | 采纳行数 | P50模型延迟 |
|---|---|---|---|---|
| AR基线 | 23.8% | **1.06** | 93.6 | 116ms |
| Diff Diffusion | **24.0%** | 1.05 | **102.6** | **70.8ms** |
接受率和CPO两个指标基本跟自回归基线持平,没有牺牲质量,但用户实际采纳的代码行数提升了9.6%,P50延迟直接降了39%。论文里还放了一张按编辑距离分桶统计延迟的图,显示不管改动范围是10个字符以内的小修小补,还是超过120个字符的大段重写,Diff Diffusion的延迟优势都稳定存在,没有出现"小改动快、大改动反而掉链子"这种情况。
**这个思路还能走多远**
论文最后也很坦诚地承认了局限性。团队目前还没有对编辑路径扩散这套方法做更深入的理论分析,评测范围也主要集中在IDE这种对延迟特别敏感的场景。至于更复杂的场景,比如按自然语言指令做编辑、跨文件的仓库级修改,或者结合规划、工具调用、人工审核的智能体工作流,团队表示会放在未来的研究方向里。
这个领域里其实已经有不少后续工作在往这个方向推进。比如LLaDA2.2这篇技术报告就提出了通过Levenshtein编辑实现智能体级扩散语言模型,把保留、替换、删除、插入这几种动作整合进了一个支持自我纠错的框架;LLaDA2.1也在同一时期探索了用token编辑的方式加速文本扩散,思路上跟Diff Diffusion有相通之处,都是想办法避开"全量重新生成"这个效率黑洞。这些工作加在一起,能看出一个趋势:把"编辑"而不是"生成"作为扩散语言模型的第一公民,正在成为代码智能领域一个越来越清晰的方向。
Q&A
Q1:Diff Diffusion是什么?
A:Diff Diffusion是字节跳动团队提出的一种扩散语言模型框架,专门用于IDE场景下的代码编辑预测。它把传统扩散模型"重新生成整段代码"的方式,改成了预测从原始代码到目标代码的编辑路径,只处理真正需要修改的部分,跳过不变的内容。
Q2:Diff Diffusion比传统自回归模型快多少?
A:在公开的C3PO编辑补全基准上,Diff Diffusion比自回归基线快2.78倍,解码步数从14.62步降到3.90步。在字节跳动的生产环境线上A/B测试中,P50模型推理延迟降低了39%,同时用户实际采纳的代码行数还提升了9.6%。
Q3:Diff Diffusion和普通的掩码扩散模型有什么不同?
A:普通掩码扩散模型即使只需要改一小部分内容,往往也要对整段序列重新去噪。Diff Diffusion则引入了保持、删除、插入、替换、填充五种编辑动作,让模型只对真正需要改动的token进行操作,大部分原始代码可以直接跳过处理,大幅减少了计算量和延迟。







