你有没有想过,有一天互联网上的文字可能会被AI读完?
这听起来像个笑话,但其实是个正在发生的真实问题。高质量的人类文本不是无限的,它增长的速度远远跟不上AI算力增长的速度。于是一个很现实的问题摆在了研究者面前:当数据用完了,模型还能不能继续训练下去?答案是可以,但得反复用同一批数据训练很多遍。这篇来自UC伯克利和艾伦人工智能研究所的论文,就是在研究这件"反复嚼同一块馍"的事到底该怎么做才最有效。
**核心问题:当数据不再无限**
过去十年,大模型的训练哲学可以用一句话概括:数据多到用不完,算力才是瓶颈。
这个假设支撑了整个Scaling Law的研究,比如大家熟知的Kaplan定律和Chinchilla定律,它们教会了业界怎么用固定的算力去匹配模型大小和训练数据量。但这些定律有一个隐藏的前提:训练数据永远是新鲜的,从没见过的。
问题是,这个前提正在崩塌。
人类产生高质量文字的速度是有限的,维基百科写完了就写完了,学术论文一年也就那么多篇,新闻稿更新的速度也赶不上GPU集群扩张的速度。于是像DeepSeek、OLMo这样的实验室,已经开始不得不在同一批数据上反复训练模型,业内把这叫做repeated-data training(重复数据训练)。
**重复数据训练**:在数据量有限的情况下,让模型对同一批语料反复学习多轮(即多个epoch),而不是像传统做法那样只过一遍就换新数据。
这篇论文站在了两篇前作的肩膀上。Kim等人在2026年的研究证明了,如果把算力当作无限的资源,只在数据量上做限制,那么通过调整权重衰减(weight decay,一种防止模型死记硬背的正则化手段)可以大幅延迟过拟合的发生。Xu等人紧接着在此基础上提出了更多正则化方法。这两篇论文有一个共同的做法:他们都固定了批大小(batch size),把注意力集中在其他变量上。
这篇论文的作者觉得这里有问题。
批大小不是一个无关紧要的旁枝末节,它控制着模型每一步"看"多少数据,也控制着梯度更新的噪声大小。固定它意味着可能错过了一个更优的训练方案。于是研究者决定,把批大小也拉进调参的范围里,结果发现了一件所有人都没想到的事。
**批大小存在一个最优甜蜜点,而且比你想的小得多**
传统预训练的直觉是什么?批大小越大越好,因为能充分利用GPU的并行计算能力,训练速度更快。GPT-2、Pythia、OLMo这些主流模型用的批大小普遍在512到2048个序列之间。
但研究者把批大小从16一路试到512,同时为每个批大小单独调好学习率、权重衰减和训练轮数(epoch数),结果发现验证损失(用来衡量模型在没见过的数据上表现好坏的指标,越低越好)画出来的曲线是一个U形。
**最优点出现在批大小为64附近,远远小于业界常用的512到2048。**
拿15亿参数的模型来说,批大小64时能把验证交叉熵损失从512批大小下的3.124降到2.977,这不是一个小数字的改善。换算成更容易理解的方式,相当于用更小的批大小,模型能从同样一批数据里多"挤出"相当于把独特数据量翻一倍的效果。
为什么会这样?研究者给出的解释是小批量梯度噪声提供了隐式正则化。
想象你在准备一场重要考试,只有一本教材,但可以反复复习。如果你每次复习都严格按照相同的顺序、相同的方式过一遍书,很快你会发现自己不是在理解知识,而是把答案背下来了,离开教材你什么都答不出来。但如果你每次复习都用稍微随机一点的方式,比如打乱章节顺序、用不同的方法做笔记,反而能让你记住的是知识本身,而不是死记硬背的顺序。小批量训练带来的梯度噪声,就相当于这种"随机复习法",它让模型没法轻易记住训练数据的具体细节,逼着它去学习更本质的规律。如果不这样做会怎样?研究数据给出了明确答案:批大小512的模型,在训练后期,训练损失持续下降,但验证损失却开始反弹上升,这就是教科书式的过拟合,模型把答案背下来了,但考试换一道新题就不会做了。
**权重衰减**:一种正则化技术,在每次参数更新时让权重值稍微"缩小"一点,防止模型权重变得过大从而死记硬背训练数据。
值得一提的是,研究者还拿这个结果去对比了业界常用的批大小预测公式。比如Bi等人2024年提出的DeepSeek LLM批大小定律,预测在这个计算规模下应该用123万token的批大小,但实验找到的最优批大小只有26万token,相差4.7倍。这说明,单纯依照单遍训练(single-pass)场景下总结出来的规律,直接套用到重复数据训练上是会出问题的。
那么,批大小是不是越小越好?也不是。研究者进一步拆解了训练损失和验证损失的差距,发现了一个很有意思的平衡:批大小太大,会因为梯度噪声不足导致过拟合;批大小太小,反而会因为优化步数太多,同样走向过拟合,只是走的路径不一样。U形曲线的两端,其实对应着两种不同成因导致的同一个结果,学得太死。
**训练配方也要跟着重复数据的特性改**
批大小调完了,研究者接着往下挖,发现还有三个被业界默认但很少被专门为重复数据场景优化过的训练细节,调整它们能带来实打实的提升。
第一个是数据呈现方式。当你反复训练同一批数据时,数据加载器到底怎么把文档打包成训练序列,这件事其实有讲究。研究者比较了三种方式:第一种是完全固定序列和顺序,每个epoch都一字不差地重复;第二种是保留序列边界但打乱序列在批次里的顺序;第三种叫REPACK,每个epoch都重新把文档打乱并打包成全新的序列。
**REPACK**:每轮训练开始前,把原始文档重新组合、重新切分成新的训练序列,而不是沿用上一轮打包好的旧序列。
实验结果很直接:固定顺序的方式验证损失最差,打乱批次顺序能改善一些,而REPACK效果最好,15亿参数模型在批大小512时,验证损失从3.124进一步降到3.064。这个逻辑其实不难理解。你有没有重复读过一本小说?第一次读你会被情节吸引,记住的是人物和故事线;但如果你被要求把这本书逐字背诵十遍,你记住的会变成具体的字句顺序,而不是故事本身想表达的东西。REPACK相当于每次重读这本书时,都用一种新的方式重新编排章节结构,逼着模型每次关注的"上下文窗口"都不一样,这样它学到的就更接近语言的真实规律,而不是某个具体片段的死记硬背。如果不做REPACK,数据明明没变,但模型见到的"排列方式"却一直雷同,等价于一直在用同一个角度观察同一个物体,很容易产生视觉盲区。
第二个发现是关于词嵌入(embedding)的两个小调整:权重绑定和嵌入层权重衰减。
**权重绑定**:让输入层的词嵌入矩阵和输出层的预测矩阵共享同一组参数,而不是各用各的独立参数。这样做最初是为了减少模型参数量。
单独使用权重绑定,效果提升不明显。但如果在绑定的基础上,再给这组共享的嵌入参数加上权重衰减,效果就显著了。两者叠加使用,15亿参数模型批大小64时的验证损失从2.971进一步降到2.946,批大小512时从3.064降到3.030。更重要的是,这个改进让模型能在更晚的epoch才开始过拟合,相当于给模型多争取到了继续学习的时间窗口。
把以上这些改进全部叠加起来形成的新配方,研究者称之为"重复感知训练"(repetition-aware training),它把15亿参数模型的最佳停止轮数从20轮延伸到了32轮,1.53亿参数模型从112轮延伸到了240轮,整体验证损失和下游任务表现(比如常识推理测试HellaSwag)都有明显提升。
研究者还顺手检查了九个主流开源训练框架(比如OpenLM、Megatron-LM、Hugging Face Trainer等)的默认配置,发现这些设置五花八门,互相矛盾,大多不是针对重复数据场景专门设计的。这其实挺值得警惕的,很多团队可能一直沿用框架的默认参数,却没意识到这些参数本来是为"数据无限"的场景设计的,拿到"数据有限、需要反复训练"的场景里直接用,可能悄悄损失了一部分本可以争取到的性能。
**当算力不是无限的:GPU和时间要分开算**
前面所有的分析,都建立在一个美好的假设之上:算力无限,时间无限,随便你怎么训练。
现实很快就把这个假设打回原形。研究者做了一个外推计算:如果训练一个700亿参数的模型,数据池大小是10万亿token,按照前面找到的最优批大小和轮数外推,大约需要3400万次优化步,配上合理的并行配置,大概需要6144块H100显卡,训练时间长达22.6年。
这个数字一出来,问题就很明显了:有些实验室可能真的有几千张GPU,但没人能等22年才看到训练结果。
于是研究者提出了一个关键的思维转变:GPU数量和训练时间,应该当成两个独立的资源来考虑,而不是混为一谈。
这个区分乍一听有点学术,但其实很贴近生活。想象你要装修一套房子,"工人数量"和"工期"听起来是绑在一起的,人多工期就短。但现实中并非总是这样,如果房子就那么大,塞进去二十个工人互相挤着干活,反而会因为互相等待、空间不够而效率下降,还不如五个工人配合顺畜来得快。GPU训练也是类似的道理,堆更多GPU不一定能线性缩短训练时间,因为GPU之间需要通信同步,通信开销会抵消掉并行带来的收益。如果不区分这两种资源,很容易陷入"反正GPU多,那就一股劲儿加大批大小占满所有GPU"的思维误区,而研究恰恰证明这个思维误区是真实存在的坑。
基于这个区分,研究者划出了四种典型场景:GPU和时间都充裕(这大概是没人真正拥有的理想状态)、GPU有限但时间充裕(比如一些闲置或快要退役的GPU集群)、GPU充裕但时间紧(大厂赛跑的典型状态,Meta训练Llama 4用了3.2万块GPU,马斯克提到Grok 3训练用了约10万块H100)、GPU和时间都有限(绝大多数实际场景)。
针对第三种"时间紧"的场景,研究者发现了一个很直观但容易被忽视的规律:**截止时间越紧,就应该用越大的批大小**。原因很简单,大批次能在同样的步数里吃进更多数据,短跑冲刺阶段数据吞吐量比过拟合风险更重要。但随着截止时间放宽,逐渐应该转向更小的批次,直到达到之前找到的无约束最优批大小。
真正反常识的发现出现在"GPU和时间都受限"这个最常见的场景里。
直觉上,既然截止时间固定,那就该把能用的GPU全部用上,批大小调大,争取在时限内塞进最多的数据,这才是"榨干算力"的正确做法,对吧?
**但实验结果直接推翻了这个直觉。**
论文里给出一个具体案例:15亿参数模型,面对32000步的时限,用16块GPU、小批次训练,反而比用64块GPU、大批次训练,取得了更低的验证损失。换句话说,同样的截止时间,用更少的GPU,结果反而更好。这就好比参加一场限时考试,如果有人建议你雇四个人同时帮你答题以求又快又全,但题目本身需要的是深度思考而不是堆人力,四个人同时下笔反而互相干扰、思路打乱,一个人安静专注地答题可能分数更高。GPU集群堆得越大,数据并行度越高,相当于一次性塞进更多"学生"同时答题,看起来效率很高,但对这个任务来说,它牺牲掉的是模型本该享有的、来自小批次训练的隐式正则化红利,得不偿失。
这个发现直接挑战了业界一个根深蒂固的习惯:遇到截止日期,先加GPU扩大并行度。论文明确指出,这个做法在重复数据训练场景下可能是错的。
研究者还提出了另一种思路:如果GPU真的多到用不完,除了拿去扩大批大小,还可以拿去优化训练延迟,也就是用更激进的张量并行(tensor parallelism)和流水线并行(pipeline parallelism),把每一步的计算时间压得更短,而不改变批大小本身。
**张量并行**:把一个模型层内部的矩阵运算切分到多块GPU上同时计算,目的是减少单步计算所需的时间。
**流水线并行**:把模型按层切成几段,分配给不同GPU,像工厂流水线一样接力处理数据。
论文给出的模拟数据显示,在15亿参数规模下,把微批大小从吞吐量最优的8降到1,代价是用8倍的GPU,但能把训练时间压缩2.7倍,同时验证损失保持不变。换算到700亿参数的外推场景,用8倍的模型并行度能带来3.75倍的加速,但超过这个点之后,再加并行度也不会有更多提速,因为通信开销开始反噬收益。这部分内容研究者标注为模拟推演而非实测,态度相当谨慎。
**数据池越大,游戏规则会变**
研究者没有止步于单一数据规模,而是把实验扩展到了三个不同大小的数据池:3.33亿、10亿和30亿token。
结果显示,数据池越大,最佳验证损失也越低,这不意外。但更值得关注的是,数据池变大之后,最优配置本身也在变:**批大小应该变大,训练轮数的最优点也会推后**。这背后的逻辑很直白,数据池更大意味着每一轮能见到的信息更丰富,过拟合发生得更晚,所以能够承受更大的批次和更多的重复轮数,而不至于提前进入"学傻"的状态。
这个发现其实也在提醒一件事:没有一套放之四海而皆准的"最优配方"。训练配置得跟着你手头数据的规模走,数据多的时候和数据少的时候,策略是不一样的。
**写在后面**
读完这篇论文,最触动我的其实不是哪个具体的技术细节,而是它暴露出的一种普遍的研究惯性:我们习惯性地把过去场景里验证过的最优解,直接套用到一个前提条件已经变了的新场景里,却很少停下来问一句,这个最优解当年成立的理由,现在还在不在。
批大小这件事就是个很好的例子。业界用大批次训练了十几年,背后的逻辑是"数据无限,算力是瓶颈,所以要榨干每一块GPU的吞吐量"。这个逻辑在单遍训练的世界里是对的。但一旦换到数据有限、必须反复训练的世界,原来被当作"噪声"要尽量消除的小批次梯度扰动,反而变成了对抗过拟合的武器。原来的优点变成了缺点,原来的缺点变成了优点,前提一变,整套逻辑直接翻了个面。这种"同一个变量,在不同约束条件下角色互换"的现象,其实在很多领域都存在,只是我们很容易忽略去重新审视那个最初的前提是否还站得住。
另一个让我反复琢磨的地方是GPU和时间被拆开当成两种资源这件事。这个思路看似是工程细节,但其实隐含了一种更一般的方法论:资源不是单一维度的,把一个笼统的"算力"概念拆解成互相独立、甚至有时互相制约的多个维度,往往能发现被原来的笼统视角遮蔽掉的次优选择。多想想,其实很多我们习以为常的"更多资源=更好结果"的直觉,可能都值得用这种拆解的方式重新检验一遍。
论文里提到的700亿参数、10万亿token外推场景,22.6年的训练时间,这个数字摆在那里,挺有冲击力的。它让人意识到,数据枯竭不是一个遥远的理论问题,而是已经逼近到可以被具体计算出来的工程约束了。
那么下一个问题自然就来了:当连重复训练也挖掘到极限的那一天,人类社会还能拿出什么样的新鲜数据,喂给越来越饥渴的模型?
Q&A
Q1:重复数据预训练中批大小应该怎么选?
A:研究发现批大小存在一个U形最优曲线,最佳点在64附近,远小于业界常用的512到2048,因为小批次梯度噪声能提供隐式正则化,延迟过拟合发生的时间,但批大小太小又会因为优化步数过多反而导致过拟合。
Q2:为什么说GPU数量和训练时间要分开考虑?
A:因为堆更多GPU不一定能线性缩短训练时间,实验证明即使在固定截止时间下,用更少GPU配合更小批大小训练,反而能取得比用更多GPU扩大批大小更低的验证损失,盲目堆GPU扩大并行度可能是次优选择。
Q3:REPACK和权重绑定这些训练技巧具体改善了什么?
A:REPACK每轮重新打包文档生成全新训练序列,权重绑定加上嵌入层权重衰减能进一步延迟过拟合,两者结合使15亿参数模型的最佳训练轮数从20轮延长到32轮,验证损失和下游任务表现都有提升。







