2026年8月，如果你随便打开一个新爬下来的网页，大概每三页里就有一页是AI写的。
这不是夸张的说法，而是Pangram Labs团队用检测模型实测出来的数字：31.1%。两年前这个数字还只有10.1%，再往前倒推，几乎可以忽略不计。互联网正在被AI悄悄接管，而大语言模型的训练数据，恰恰就是从这片越来越"AI化"的网络土壤里挖出来的。
这就带来一个所有做大模型的人都绕不开的问题：当你去抓取新鲜的网络文本来训练模型时，混进去的那些AI生成内容，到底是帮手还是毒药？
这个问题听起来简单，但过去的研究其实都没有真正回答它。
**核心问题：为什么现有研究都没说清楚这件事**
在这篇论文之前，关于"AI生成内容影响模型训练"的研究主要分两类，但两类都没有切中要害。
第一类叫模型坍塌研究。
> 模型坍塌：指一个模型反复用自己生成的内容训练自己，经过多代之后性能逐渐退化崩溃的现象。
这类研究做的实验是：让模型自己生成文本，然后拿这些文本去训练下一代模型，下一代再生成，再训练下下一代，像近亲繁殖一样一代一代退化下去。这确实揭示了一些有意思的现象,但它和真实世界的情况差得很远。真实的网络文本不是某一个模型自己写的,而是来自成百上千个不同的模型,混杂在人类写的内容里,随便被谁抓下来用。
第二类叫合成数据研究。
这类研究是故意生成一批精心设计的文本,比如把网页内容用AI重新改写一遍,让表达更清晰,专门用来提升训练效果。这种数据是"为训练而生"的,质量有人把关,目的性很强。
但现实中混进训练语料的AI文本完全不是这么回事。它们是AI模型为了给人类读者看、给搜索引擎排名而写的产品介绍、博客文章、教程,写完之后随便躺在网上,质量参差不齐,根本没人筛选,就这么被爬虫一股脑收进了训练数据集。
论文把这种文本起了个名字,叫"野生AI文本"。
> 野生AI文本：指语言模型为人类读者而写、自然存在于互联网上、未经标注就混入训练语料的AI生成内容,区别于用于递归训练的模型自产内容,也区别于专门制作的合成数据。
这才是当下所有大模型团队每天都在面对的真实情况,却从来没有人系统地测量过它的影响。
研究团队决定自己动手做这件事。他们训练了800个语言模型,参数规模从1990万到9.73亿不等,每个模型都往固定的人类文本语料里按不同比例混入AI生成文本,然后观察模型在人类文本和AI文本上的表现变化。
这个工作量相当惊人,但更有意思的是实验结果彻底颠覆了很多人的直觉。
**第一个发现:AI文本不是全好也不是全坏,而是看"吃没吃饱"**
研究团队用一个指标来衡量模型"吃没吃饱":每个参数对应多少个人类文本token,简称TPPh。
> TPPh:human tokens per parameter,衡量一个模型相对于自己的参数规模,喂了多少人类写的训练数据,数值越低说明模型越"数据饥饿"。
业界有个公认的黄金法则,叫Chinchilla最优,大约是每个参数配20个token。
> Chinchilla scaling law:由DeepMind在2022年提出的经验法则,指出在给定计算预算下,模型参数量和训练数据量应该按某个比例同步增长才能达到最优效果,其中20 token每参数是一个常被引用的参考点。
但现实中几乎没有团队按这个比例训练了。比如阿里的Qwen3-32B,训练数据量达到了每个参数1100个token,远远超过Chinchilla建议的量,这说明现在的大模型普遍是"吃得过饱"而不是"吃不够"。
论文的实验发现,在TPPh低于10,也就是模型严重"吃不饱"的情况下,往训练数据里加AI文本确实能降低模型在人类文本上的损失,也就是说模型表现变好了。但这个好处是有上限的,加得越多,好处递减,到了某个点之后开始反过来伤害模型。而一旦模型的人类数据喂到了Chinchilla推荐的20 TPPh或更高,加AI文本几乎立刻就开始拉低表现,加得越多伤害越大。
这里有一个特别值得琢磨的对比:同样数量的新鲜人类文本,在任何数据量下都持续在降低损失,从不反转。
这就好比一个一直吃不饱的孩子,给他吃点代餐棒,能顶一阵饥饿,刚开始确实管用,但吃多了代餐棒反而会扰乱正常的营养吸收,最后还不如喝一碗白粥。如果孩子本来就吃得很饱了,再硬塞代餐棒进去,只会让他消化不良。而真正的白米饭,无论孩子吃没吃饱,多吃一点总归是有营养的。这个类比揭示的关键是:AI文本的价值不是固定的,它取决于模型当下"饿不饿",而人类文本的价值相对稳定,这正是论文要用数学模型捕捉的核心矛盾。
**第二个发现:老办法算不准这笔账**
Chinchilla公式本身没有区分"人类token"和"AI token",它把所有token都当成一回事。研究团队发现,这个公式在预测只加新鲜人类数据的模型时表现很准,误差只有1.32×10??,但一旦用来预测加了AI文本的模型,误差飙升到4.32×10??,翻了三倍多。
> 误差单位bits per byte,简写bpb:衡量语言模型预测文本的好坏程度,数值越低说明模型对这段文本的"理解"或拟合越好,这是论文里评估模型质量的主要尺度。
团队还测试了另外10种现有的科学公式,包括专门研究数据重复使用的、专门研究数据混合比例的、专门研究合成数据和真实数据差异的,结果发现它们各有各的毛病。
有些公式假设重复使用数据永远不会伤害模型,只会让帮助逐渐减弱,从不反转成伤害,这显然和实测数据不符。有些公式虽然承认有伤害,但把帮助和伤害混在一起算,没法分开看。还有的公式对AI文本第一个token的价值做了错误假设,比如直接假定它和一个人类token完全等价,这明显不符合实际情况。
论文据此提出了五条标准,一个合格的公式应该满足:AI token的价值要能随着模型大小、人类数据量、AI数据比例灵活变化;要能同时表现出帮助和伤害两种效果;帮助和伤害的机制要能拆开单独看;第一个AI token的价值要是一个有限的数,不能武断假设等于1;以及当完全没有AI数据时,公式要能自动退回到标准的Chinchilla公式。
团队测试的12个公式里,只有他们自己提出的新公式以及另一个叫Sedova et al.的公式完全满足这五条,但Sedova那个公式的实际预测误差是论文新公式的11.6倍,精度差太远。
**第三个发现:新公式长什么样**
论文提出的新公式保留了Chinchilla的基本骨架,但在数据项里加了两个新成分:一个代表AI文本带来的好处,叫做credit,一个代表AI文本带来的坏处,叫做harm。
好处部分用的是一种"饱和"曲线,意思是刚开始加AI文本效果提升很快,但很快就到顶了,再加也不会有更多好处。这个设计参考了之前研究重复数据的论文思路,但多加了一个自由参数,让好处的最大值可以根据情况调整,而不是固定死。
坏处部分则是对数增长的,意思是伤害会随着AI文本比例增加而扩大,但扩大的速度越来越慢,不是指数级爆炸式恶化,而是温和地持续累积。团队专门用实验验证了这一点:在20 TPPh下,把AI文本的比例从1倍翻到2倍,再翻到4倍,一直翻到64倍,会发现每次翻倍带来的伤害增量基本是恒定的,这正是对数函数的特征,如果是指数级恶化的话,翻倍带来的伤害应该越来越猛烈才对。
这就像往一杯清水里滴墨水。刚滴几滴,水还看得过去,再滴几滴颜色明显加深了,但等墨水已经滴了很多之后,再多滴几滴,颜色加深的幅度反而没那么明显了,因为水已经很黑了,边际变化在缩小。如果墨水的伤害是指数级的,那应该是滴得越多,颜色恶化得越快越猛,但实测的曲线明显更像对数曲线,温和递减。
这个新公式在训练阶段只用到了参数规模19.9M到268M的模型拟合,但拿去预测规模是训练集合最大模型3.6倍的477M和973M模型时,预测误差只有0.83×10??,远低于排名第二的Shukor et al.联合公式的1.41×10??,也远低于Chinchilla公式的4.32×10??。这说明这个公式不仅拟合得好,外推能力也靠得住,这在科学建模里是很难得的双重保证。
**第四个发现:现有的质量过滤器反而更爱AI文本**
这是整篇论文里最让人意外的一个结论。
业界常用的两套网页数据清洗流程,FineWeb和DCLM,本来的目的是过滤掉垂圾内容、低质量页面,留下干净的训练数据。但团队实测发现,这两套流程居然系统性地偏爱AI生成文本。
> FineWeb:由Hugging Face团队开发的一套网页文本质量过滤流程,通过语言检测、重复度检测、内容质量规则等多道筛选,从Common Crawl原始网页中提取适合训练的文本。
> DCLM:另一套类似的数据筛选流程,使用一个专门训练的分类器来判断网页内容是否适合用于语言模型训练。
团队从2026年的网页抓取样本里随机抽了1万篇文档,追踪它们在过滤流程每一步的存活情况。结果是:经过FineWeb全套流程后,AI标注文档的存活率是29.3%,人类标注文档只有12.8%,相当于AI文档存活的概率是人类文档的2.3倍。DCLM的差距更夸张,AI文档存活率14.5%,人类文档只有1.5%,差了将近10倍。
问题出在哪?DCLM里有一个学习出来的质量分类器,这个分类器对走到它面前的AI文档,有40%会判定为合格,而对人类文档,只有9.5%会判定合格。换句话说,这个本该把关质量的分类器,反而对AI写的内容更宽容。
这就像一个本意是筛掉劣质水果的质检员,结果因为AI种出来的水果个个长得又圆又红很上相,而真正地里长出来的水果有大有小、有点疤痕,质检员反而把更多"长相标准"的AI水果放进了优质箱,把一些长得不那么规整但味道其实不错的人类水果给剔除了。如果不改变这个质检标准,最后超市货架上摆的"优质水果",会越来越多是流水线产的,而不是地里长的,这正是过滤器偏好AI内容带来的真实代价:它不是中立的筛选工具,而是在悄悄改变训练数据的构成比例,让情况比不过滤更糟。
**第五个发现:到2028年要为这件事多花两倍的钱**
团队用一种叫随机游走带漂移的时间序列方法,对未来几年网络文本的AI占比做了预测。
> 随机游走带漂移:一种时间序列预测方法,假设未来值等于当前值加上一个固定的平均变化趋势,再加上随机波动,常用于预测带有稳定增长或下降趋势的数据。
预测结果是:到2027年底AI占比会到42.3%,到2028年底会到50.7%,也就是网络上一半以上的文字内容都会是AI写的。
这个预测配合论文提出的新公式,可以算出一个很实际的数字,叫计算等效增益。
> 计算等效增益,简称CEG:一种衡量两种训练方案计算效率差异的指标,具体做法是看达到同样的损失水平,参考方案需要用多少token,除以实际方案用的token数,比值反映了效率高低。
按照这个指标计算,如果不过滤AI文本,直接拿2026年8月31.1%的AI占比去训练,要达到和只用人类文本训练一样的效果,需要多花1.6倍的计算资源。等到2027年底AI占比涨到42.3%,这个倍数会涨到2.1倍。等到2028年底占比涨到50.7%,倍数会涨到3.0倍。
这意味着什么?意味着什么都不做,光是放任AI文本混进训练数据不管,未来几年算力成本会越来越高,而且这个代价会一直涨,不会自己停下来。
**第六个发现:数据不够的时候,该重复旧的还是加新的AI文本**
这是论文给出的一个非常实用的建议。研究团队做了对比实验:用同一批人类语料,一组选择重复用这批数据训练多轮,另一组选择加入等量的新AI文本。
> 多轮训练(epoch):指同一份数据被模型完整学习多次,第一轮之后的每一轮叫做一个额外的epoch。
结果非常清楚:在人类文本的评测集上,重复用旧数据训练了一轮后,损失下降了2.3%,而加入等量AI文本反而让损失上升了。这个差距随着重复轮次增多而越拉越大,到了8轮之后,差距扩大到6.3%到6.4%。
也就是说,如果你的训练数据不够用了,比起去网上多抓点AI写的文章来凑数,把手里现有的人类数据多嚼几遍,效果反而更好。
这个结论听起来有点反直觉。按理说新内容应该比旧内容更有信息量,但这里的"新"是打了折扣的新,因为它是AI写的,质量和多样性本身就不如人类原创内容。这就好比家里存粮不够了,一种选择是把家里现有的米饭重新加热了再吃几顿,另一种选择是去便利店买一堆看起来新鲜但其实是预制菜加工的速食。预制菜乍一看是"新的",但营养价值和口感往往不如家里现成的饭菜回锅热一热。如果长期靠预制菜顶替正餐,身体吸收到的营养结构会慢慢变差,这正是论文想说明的,重复使用高质量旧数据,往往比盲目追加低质量新数据更可靠。
**第七个发现:目标不同,答案也完全不同**
前面讲的全部结论都基于一个假设:你希望模型在预测人类文本上表现好。但如果你的目标恰恰是让模型擅长理解或生成AI风格的文本,结论会完全反过来。
论文用Cosmopedia这个数据集作为"纯AI文本"的测试基准来验证这一点。
> Cosmopedia:一个由Hugging Face团队用AI生成的大规模教科书式文本数据集,论文里用它来代表"纯AI生成内容"的评测目标。
结果显示,如果评测目标是AI文本本身,那么无论人类数据量多大,最优的AI文本占比始终保持在90%以上。换句话说,如果你的目标是让模型学会"像AI一样说话",那就应该尽量多喂AI文本,这和前面讲的"过量AI文本有害"的结论正好相反。
这揭示了一个很朴素但容易被忽略的道理:数据好不好,取决于你拿它要干什么。同一批AI文本,对"让模型理解人类语言"这个目标是毒药,对"让模型学会AI腔调"这个目标反而是营养品。
论文还做了一个很细致的实验,证明混合评测集会掩盖真相。他们用2026年网络抓取样本里22.3%的AI占比去配一个混合验证集,结果发现在243次AI添加实验里,实际上提高了人类文本损失的,也就是真正有害的那些模型,有95.5%的情况下,被这个混合验证集误判成了"表现变好了"。
这个数字相当惊人。意味着如果你用一个随手从网上抓的、没有专门分离AI和人类内容的验证集去评估模型,十次里有九次半你会得出错误结论,以为AI文本帮了你的模型,实际上它正在悄悄伤害模型在人类文本上的表现。
论文据此给出一条明确建议:评测时一定要把人类文本和AI文本分开报告损失,不要混在一起看。
**写在后面**
读到团队训练了800个模型来回答一个问题的时候,我第一反应是有点震惊这个工作量,但转念一想,这其实恰恰是这篇论文可信的地方。很多关于AI生成数据的讨论停留在"AI文本会污染训练集"这种定性判断上,听起来像常识,但常识经常是错的,或者至少是不精确的。这篇论文用800次实验把这个常识拆解成了一个可以量化、可以预测的曲线,这个曲线告诉我们事情远比"AI文本好不好"复杂,它取决于你的模型饿不饿、你要用来干什么、你怎么评测它。
另一个让我意外的细节是,论文提到大语言模型并没有像人类那样对AI内容"过敏"。模型在CORE基准测试上,无论是加AI文本还是加人类文本,得分提升幅度差不多。真正拉开差距的是模型在拟合人类文本分布上的损失,也就是模型"说话方式"和人类的接近程度。这意味着一个被AI文本喂养出来的模型,可能在标准考试里考得一样好,但骨子里说话越来越像AI,而不像人。这个细节比"AI文本有害"这个结论本身更让人不安,因为它说明伤害可能不会出现在你盯着看的那些指标上。
论文还留下了一个没有解决的问题:它只测到了9.73亿参数的模型,而今天真正在跑的大模型动辄几百亿上千亿参数。更大的模型有更强的记忆能力,也可能对AI生成内容的模式更敏感,这个趋势是会加剧还是缓解,论文自己也没有答案,只是推测可能更糟。这个问题留给了未来某个愿意再烧更多算力的团队。
互联网正在被自己生产的内容悄悄改写,而我们训练AI的方式,恰恰依赖于相信这片内容还足够"人类"。这个循环会走向哪里,没有人真的知道。
Q&A
Q1：wild AI text和合成数据有什么区别?
A：wild AI text是语言模型为人类读者而写、自然存在于网络上未经标注的AI生成内容,而合成数据是专门为训练目的制作的改写文本,两者的质量把控和使用目的完全不同。
Q2：训练模型时AI生成文本一定有害吗?
A：不一定。当模型人类训练数据严重不足时,适量加入AI文本能降低损失,但一旦人类数据达到每参数20个token的Chinchilla最优水平,继续加AI文本会迅速损害模型在人类文本上的表现。
Q3：现有的网页质量过滤器能挡住AI生成内容吗?
A：挡不住,反而更偏爱AI内容。实测显示FineWeb流程让AI文档存活率是人类文档的2.3倍,DCLM流程这个倍数接近10倍,过滤器的学习分类器对AI内容更宽容。
