这两年大模型圈有一条几乎没人怀疑的信条，Scaling Law。
加算力，加参数，加数据，模型就稳定地变强。
最要命的是这个所谓的稳定，投进去多少，大概能换回多少，是可以预期的。所以各家模厂才敢成千上万张地买卡、屯卡。
其中，砸卡最狠的公司之一 Meta，最近更新了一项进展。
GEM 是 Meta 的广告推荐基础模型，大家平时在 Facebook、Instagram 上刷到哪条广告，背后很大程度上就是它在算。
最新一代GEM模型，在几千张最新一代 GPU 上训练，总训练计算量是一年前的 4 倍。
这么看，推荐系统也开始按大模型的量级砸卡了。
说到推荐系统，可能是你每天用得最多、却最少想起的 AI。
我列一组数字你就全明白了：
2024 年全球数字广告支出大概 7900 亿美元（直白点说这是推荐模型能撬动的商业市场）OpenAI 2024 年全年收入才37 亿美元。
今年大模型圈最能赚钱的两家，Anthropic 最新的年化收入大概是 650 亿美元，OpenAI也在几百亿美元的量级，加起来也只是对方的十分之一这个量级。
一切技术研究大模型化，这本来不算什么新鲜事。Meta博客里有一句话，还是让我留意了。
Meta 说，大模型那种 Scaling Law，放到推荐系统上，并不会自然出现。
离钱这么近，旁边又摆着大模型这条现成的路，砸卡是理所当然的事，但是同样是神经网络，同样是砸算力，凭啥一个越砸越聪明，另一个就不太吃这一套？
巧的是，这道题，我还真研究过。
今年的腾讯广告算法大赛，题目就是这个。我也带着我的 Codex 报了名，奖金嘛，当然是没拿到 QvQ
前几天，官方放出了论文，把整场比赛从头到尾复盘了一遍。
我这两天把它翻完了，发现它几乎就是在正面回答 Meta 那句话。
论文的名字很长，叫《腾讯广告算法大赛2026：面向大规模推荐的序列建模与特征交叉统一之路》。
传送门：
https://github.com/junwei-pan/junwei-pan.github.io/blob/main/paper/TAAC_2026.pdf
先说 Meta 那句话背后的原因，这块我也是翻完论文才算真正搞明白。
大模型吃进去的东西只有一种，一串文字。每个字都一样对待，所以模型可以用同一种结构，业内叫 block，一层一层往上叠。想变强，就叠得更高，做得更宽。
推荐系统吃进去的，是两种东西，行为和特征，完全不搭的。
两种东西性质又不一样，行业一直以来的解法便是，分开处理。
一个模块专门读你的历史，把它压缩成一两份兴趣摘要，另一个模块专门琢磨字段之间怎么组合，各算各的，最后拼到一起打个分。
模型小的时候，这么分工又稳又好用。可一旦想往大了做，问题就来了。两个模块长得不一样，没法像大模型那样用同一种 block 一直往上叠。
而且你的历史在第一步就被压成了摘要，后面的网络再大，那些被压掉的细节也回不来了。
多出来的算力，没地方使劲。Meta 那句话，说的其实就是这个。
Meta 自己的解法，是把读历史和琢磨字段这两件事，交错放进同一个统一的框架里，他们管它叫 Kunlun。
新一代 GEM 用的是 Kunlun 架构，把序列建模和特征交叉统一进同一个 block
换上之后，Meta 在最大规模的预训练上，终于看到了和大模型类似的 scaling 规律，同样的算力增长，效果提升是上一代架构的 2 倍。
Meta新一代GEM 效果提升对比
所以先统一，才能 scale，这个方向大家基本是认的。
过去一年，Meta、字节、快手、阿里、腾讯，各家都拿出了自己的统一架构。
问题在于，怎么统一？
每家都在自己的数据、自己的算力、自己的延迟要求下做实验，结论根本没法放在一起比。你说你的好，我说我的好，到底哪种做法真的管用，没人说得清。
然后腾讯做了一件事，腾讯广告算法大赛今年成了 KDD Cup 2026 的官方赛道。
KDD Cup 是数据挖掘领域最老牌的国际比赛，从 1997 年一直办到现在。
今年这道题，一句话就能讲完，让所有人在同样的条件下，各自拿出一套统一架构，看谁的最有效且能scale。
具体要预测的，也都来自真实业务，一个用户点开一条广告之后，会不会真的下单、下载或者注册。
手里的材料，就是前面说的那两类，行为历史加一堆字段，来自微信视频号的真实广告日志，做过脱敏。所有人还从同一个起点出发，官方给的基线模型 HyFormer，本身就是一个统一架构。
报名的有来自 52 个国家和地区的 13913 个人，组成了 5746 支队伍。学术赛道全是在校学生，工业赛道里，报名时填的单位几乎收集了国内大部分互联网企业，也有meta等海外企业选手参赛～
对，就是那个刚在博客里说推荐系统不会自然 scale 的 Meta。
不过真正让我觉得这不只是一场比赛的，是出题人定的那些规矩。
预测要快，模型再准，推理超时也不算数，工业赛道卡得更死，因为线上的广告排序本来就是毫秒级的事。
只许用一个模型，不能把几个模型的结果平均一下刷分，比的只能是单个模型的架构。为了守住这条线，组委会先用 AI 审代码，再人工复核。
为了更好的贴近实际场景的需求，好预测的转化类型被剔掉了，训练集和测试集按时间先后切开，两边的用户互不重叠，测试样本从一天 24 小时里按比例抽。模型面对的，是没见过的人、还没发生的流量，跟真上线的时候一模一样。
规模还拉开了十几倍。初赛每队只分到五分之一张 GPU，用一两百万条数据快速试想法，复赛每队 7 张卡，数据扩到几千万条，看你的方案放大以后还站不站得住。
最有意思的，是两个直到决赛才公布的奖，各 30 万，一个是统一架构创新奖，颁给统一 block 的设计方案，一个给Scaling Law 创新奖，奖励Scaling Law方面的发现。
KDD CUP现场图
这些约束摆在一起，探索一个问题：
推荐系统该怎么scale？
先说一个最直接的发现，成绩好的方案，几乎全都放弃了「各算各的、最后再拼」那条老路。
方向是一致的，但每支队伍下手的地方都不一样，挨个看下来，还挺有意思。
先看学术季军 UniTokenFormer 。
UniTokenFormer模型架构
他们盯的是最前面那一步，把信息切成多少份 token，每份装什么。听着像预处理里的小事，他们把它当成一个可以单独调的维度来研究，结果发现，模型规模差不多的时候，多分点 token 给广告那一侧，比多分给用户这一侧更管用。顺着这个方向，他们把单个 block 做到了约 10.6 亿稠密参数。
一个很朴素的发现，但挺实用。
再看工业冠军 QueryFormer 。
QueryFormer模型架构
他们改的是下一步，从历史里找线索。模型去翻你的历史之前，得先生成一组 query，先想好这次要找什么。基线的做法比较直接，把特征拼一拼，过一个投影网络就生成了。QueryFormer 觉得这一步太草率，先让用户和广告的字段互相交换一遍信息，再让 query 通过注意力去读这些字段，想清楚了，再去翻历史。
团队把这一步换回原来的做法做对比，掉分最多，在所有单项改动里排第一。
比起排名更出圈的是QueryFormer的选手故事！！
QueryFormer的队员“无敌叉烧包”是 Kaggle 全球排名第一的选手，选手自述—整套 QueryFormer 的模型代码、多卡分布式训练逻辑、数十组消融实验的迭代，全程只用 DeepSeek 网页版完成——没有 API，没有付费额度。。。。。
再看学术亚军 UniDAC。
他们从另一头下手，在 query 来找之前，先把历史收拾好。较早的行为压成摘要，近期的事件留着，另开一条分支专门看局部的行为模式，四个场景的行为还会各出一份摘要，互相交换一遍。靠这一套，再加上一堆工程优化，他们把模型从 1 亿参数扩到了 10 亿。
线索找到了，还得经过很多层计算，才能影响最后的打分。层数一多，有用的信息可能半路就被冲淡了。
学术冠军 CRAFT 盯的就是这一段路。
它用一组「意图 token」承载你此刻想要什么，再根据当前的用户、广告和场景，给每条样本生成控制信号，在每一层调节意图和行为序列的表示，同时留一条路通回最初的信息。
这样一来，眼前这条广告、这个场景，每一层都在参与决定怎么读你的历史、留下什么，而不是等到最后才出场。他们的核心代码也开源了：
传送门：
https://github.com/AshleyLuo001/CRAFT
工业亚军 UniDot 就更有意思了。
这篇论文作者的署名机构，全部是 Meta。
他们把推荐系统里最老的一个操作请了回来，向量内积。
十几年前的因子分解机，就是靠两个特征向量的内积，来衡量它们有多相关。后来注意力机制里 query 和 key 打分，用的其实也是内积。UniDot 在每一层都显式算一遍这类内积，再通过一条叫 FM Highway 的通道，直接送到最后的分类器，不让它在深层被反复搅和冲淡。
大家都在卷新结构的时候，一个老方法换了个位置，还是能打。
拿下 Unified Block 创新奖的 MaskRec，问了一个我之前没想过的问题。
所有 token 都放进同一个空间之后，是不是每个 token 都得跟其他所有 token 交流？
他们的答案是，不用。它按 token 的角色和来自哪个场景，规定好谁能直接跟谁交互，再加上全局和场景内两级记忆 token，来汇总信息。
统一，不等于一锅乱炖。
工业季军 UniBridge 是最实在的那个，他们惦记的是速度。
先围着眼前这条广告，把很长的历史压成少量意图 token，再拿去和其他字段一起算。进入核心计算的 token 少而固定，又没耽误两类信息尽早碰面。
到这里，统一之后信息怎么用好，大家各有各的招。
到这里，我浅浅做个经验总结，选手们做实验、改模型的思路，也值得借鉴。换到其他比赛或者日常改进的思路，也同样能用得上。
但 Meta 那个问题还悬着。模型做大，到底还能不能涨？
拿下 Scaling Law 创新奖的 CoSFormer，做了一组特别干净的实验，我觉得是整篇论文里最值得看的部分。
他们比较了三种把模型做大的方式。
CoSFormer模型架构
第一种最直觉，把现有的表示直接加宽。
第二种，往里加一些可以学习、但不带任何新信息的空 token，容量是上去了，但没往里喂任何新东西。
第三种，每加一类 token，都带进一种新的预测信号，新的预训练向量，用户和广告的交叉信息，不同时间跨度的历史摘要，同时让模型容量跟着一起长。
结果是，直接加宽，从第一步开始就掉分。
对，加宽，掉分。
空 token 前期涨了一点，很快就开始往下走。
只有第三种，带着新信息一起加的，效果一路往上，直到新加进来的信息开始重复，才慢慢停下来。
CoSFormer的co-scaling对比曲线
多出来的容量本身不值钱，值钱的是它拿来处理的那些新信息。
当然，这不是说加宽就一定没用，CRAFT 把维度加到 480 的时候，效果也还在涨。关键在于，多出来的那部分容量，有没有新的东西可学。
而且这不是孤例。UniTokenFormer 发现容量分给谁，比单纯做大更重要，腾讯自己的 RankUp 研究，也独立得出了差不多的思路。论文在结论里，直接把它列成了这次比赛最重要的发现之一。
ps：我还去翻了下RankUp的论文，研究团队给同一特征学习多组向量表示，加入汇总全局信息的 token，把预训练的用户、广告向量交叉，构造成新的 token，和 CoSFormer 的路线放在一起看有异曲同工之妙哎
RankUp传送门：
https://arxiv.org/html/2604.17878v3
回到 开头那个问题。
同样砸算力，推荐系统为什么不像大模型那样越砸越聪明？
至少从这几千份卷子来看，答案开始清楚了。
推荐系统不是不能 scale，而是多出来的算力，第一得有地方使劲，也就是一个能反复堆叠的统一结构，第二得有东西可学，也就是足够多的新信息。
我得老实说一句，这离一条真正的、像大模型那样能画成曲线的 Scaling Law，还差得远。
但它是一条很具体的线索，而且是几千支队伍在同一个考场里，一起摸出来的。
聊到这，我想起了 ImageNet。
很多年以后大家回头看，深度学习那一轮爆发，起点不是哪家公司关起门来做的实验，而是一场公开比赛。2012 年，AlexNet 在 ImageNet 挑战赛上把错误率一下子打了下来，从那以后，整个领域都换了方向。
公开考场的价值就在这。所有人在同一张卷子上答题，答案才能互相比较，经验才能一层层叠上去。
我不知道这场比赛会不会成为推荐系统的那一次。
但至少，这一次的卷子和答案，都摊在了桌面上。
两轮比赛的数据样本放在了 HuggingFace 上，可以拿来做非商业研究.
https://huggingface.co/TAAC2026 。
论文附录里有两轮数据每一类特征的覆盖率统计，官方基线和 starter kit 从数据加载到评测都给了。
46 篇方案投稿里有 23 篇被 KDD Cup Workshop 接收，据说后续完整的论文会在【腾讯广告技术】里面发出来，感兴趣的家人们可以蹲蹲。
氮素，你要是想亲手验证一下，加宽到底会不会掉分，现在就可以开始！
腾讯这个比赛，从 2017 年办到今年，已经是第七届了，参赛者有机会与不同背景的同行交流，优胜者也能通过实习、入职及青云计划相关机会，进一步接触实际业务。
Meta 用一家公司的数据和几千张 GPU，证明了推荐系统能 scale。腾讯把同一道题搬进公开考场，让几千支队伍一起交卷，开始回答下一个问题，该怎么 scale。
比赛还会继续，模型还会继续变大。下一届的赛题，我倒是已经有点期待了。
