你有没有过这样的经历：打开购物软件，想找个东西买,结果刷了半天推荐,点开一个又一个商品,却总觉得不是你想要的那个。
这背后其实是一场看不见的赛跑。
每次你打开App，系统要在几百毫秒内从成千上万个商品里,挑出几十个你可能感兴趣的,再从这几十个里排出先后顺序。这个排序环节,学术上叫"重排序"。
重排序*：推荐系统的第二道工序,先用快速模型筛出一批候选商品,再用更精细的模型给它们排出最终顺序,决定哪个排在最前面。
这几年,大语言模型，也就是我们常说的LLM,开始被用来做这件事。它能读懂商品的文字描述,理解你过去买过什么,听起来很聪明。但问题也随之而来：这些模型跑一次要花不少时间,候选商品一多,等待时间可能长到让人无法忍受。
2026年,一家叫TypeSafe AI的公司发布了一个叫Jev的新模型,号称是他们的"第一个System One模型"。这篇论文做的事情,就是把Jev拉到推荐重排序这个具体场景里,跟传统推荐模型、跟主流的LLM重排序方法,放在同一个擂台上,看看它到底行不行。
候选池变大之后,排序有多难
先说说这篇研究到底在较什么劲。
研究者们选了亚马逊三个商品类目来做实验：电影电视、电子游戏、图书。他们先用一个叫SASRec的模型做第一轮筛选,从海量商品里挑出200个候选。
SASRec*：一种基于用户历史行为预测下一次会买什么的推荐模型,靠分析你过去的购买顺序来判断你接下来可能想要什么。
接下来的关键设计是：研究者不是随便拿200个商品凑数,而是专门挑出那些"长得很像"用户真实想买的商品的干扰项,混进真正的目标商品里,组成一个"困难候选集"。
这就好比你去超市找你最爱的那款可乐,货架上如果摆的全是薯片矿泉水,你一眼就能找到可乐。但如果货架上摆的全是长相相似的各种碳酸饮料,包装颜色都差不多,你就得真正花心思辨认。如果不这样设计困难候选集,随便塞一堆不相关商品进去,那所有模型都能轻松排对,实验也就失去了意义,因为现实中用户纠结的往往正是那些相似的选项,而不是风马牛不相及的东西。
研究者还把候选集的大小从20个一路拉到200个，用来观察候选越多,各个模型的表现会怎么变化。这个维度非常关键,因为很多论文只测一个很小的候选规模,得出的结论未必能推广到更大的场景。
五个选手同台竞技
这场比较里一共有五个参赛者。
两个是传统推荐模型：SASRec自己，还有DCNv2。
DCNv2*：一种擅长学习特征之间复杂交叉关系的神经网络排序模型,常用在工业级推荐系统里做特征融合。
两个是基于Qwen2.5 7B Instruct这个开源大模型做的重排序器,一个用逐项打分的方式(pointwise),一个用整体打包评估的方式(listwise)。
Qwen2.5 7B Instruct*：阿里云开源的一款70亿参数规模的指令微调大语言模型,具备较强的文本理解和生成能力。
pointwise（逐项式）：把每个候选商品单独拿出来,让模型判断"这个商品用户会不会买",一个一个打分。
listwise（列表式）：把所有候选商品一次性塞给模型,让它综合判断哪个最可能被选中,一次性给出排序。
最后一个,也是这篇论文真正想研究的主角,就是Jev。
Jev的玩法跟前面几个都不一样。它不是生成一段文字描述,而是直接把用户的历史行为当成"决策场景",把候选商品当成"可选项",然后返回一个针对每个选项的概率值。这个概率直接拿来当排序分数用。
这种设计思路,TypeSafe AI管它叫"System One"。
System One Model*：一种专门为快速结构化决策设计的模型,接受上下文信息和明确问题,直接输出带概率的结构化答案,而不是像聊天机器人那样生成长篇文字。
这个命名其实暗含心理学里"系统一思维"和"系统二思维"的区分：系统一是直觉式的快速反应,系统二是需要深思熟虑的慢速推理。把Jev定位成"系统一",等于在说：它不需要像传统LLM那样"思考"一大段文字再给出答案,而是直接给出一个"本能反应式"的概率判断。
这就好比你问一个经验丰富的服务员"这桌客人大概率会点什么菜",他不需要把菜单从头到尾念一遍再分析,而是凭借经验直接报出几个大概率选项。如果让他像背书一样把每道菜的优缺点都逐字分析一遍才给答案,那点菜的效率会被拖垮,但如果他完全凭"直觉"乱猜,又可能不准。Jev想做的,就是在这两者之间找一个既快又准的平衡点。
效果到底怎么样
论文用了几个指标衡量推荐效果,其中最主要的是NDCG@10。
NDCG@10*：一种评价推荐排序质量的指标,核心逻辑是如果真正相关的商品排得越靠前(前10名以内),得分越高,排在10名开外就是0分。
实验结果显示,在电影电视这个类目里,Jev的表现跟最好的Qwen逐项式重排序差不多,候选集变大时依然保持竞争力。而在电子游戏和图书这两个类目里,Jev的NDCG@10普遍比所有对比方法都要高。
这里有个特别值得说的现象：候选集从20个涨到200个时,几乎所有重排序方法的效果都在下滑,因为要从更多相似选项里挑出正确答案,难度自然加大。但下滑的速度差异很大。
Jev的下滑比较平缓,尤其是在电子游戏和图书这两个类目上,即便候选集涨到100个甚至200个,它依然保持相对不错的表现。
Qwen的逐项式重排序下滑速度也还算平稳,但Qwen的列表式重排序下滑得特别厉害，候选集一旦变大,表现急转直下。
这背后的原因不难理解：列表式重排序要求模型一口气把所有候选商品都塞进自己的"脑子"里综合判断,候选越多,信息越杂,模型越容易"看花眼"。这就像让你在十秒钟内记住十个人的名字和特征不难,但如果让你十秒钟内记住两百个人的名字和特征,再回答谁最像某个描述,大概率会出错,信息量超过了处理能力的上限。
速度这件事,差距有多夸张
效果是一方面,速度才是真正决定这些技术能不能落地的关键。
论文测的是"观测到的服务延迟",也就是从输入模型到拿到最终排序结果所花的实际时间。
观测服务延迟*：指从发起请求到获得最终排序结果所经历的实际等待时间,区别于模型本身的理论计算复杂度,实际延迟还会受网络传输、调度排队等因素影响。
结果相当惊人。SASRec和DCNv2作为"轻量级选手",延迟几乎可以忽略不计,候选集涨到200个,耗时也就在1毫秒左右。这很好理解，它们本质上是专门为推荐任务量身定制的小模型,计算量小,跑得飞快。
真正拉开差距的是Qwen的逐项式重排序。候选集是20个时,它大约需要0.6秒；涨到200个,直接飙升到14秒多。这意味着延迟几乎是随着候选数量线性增长的,候选越多越慢,而且慢得非常明显。
想象一下你去银行办业务,一个柜员一次只能服务一个人,如果有20个人排队,可能等上10分钟；但如果有200个人排队,还是这个柜员一个一个来,等待时间就会膨胀到一个多小时。逐项式重排序正是这种"一个一个来"的模式,候选商品越多,需要单独评估的次数就越多,耗时自然线性暴涨。如果不采用这种方式,改成让模型一次性把所有候选都看一遍,倒是能省掉重复评估的开销,但正如前面说的,这又会让列表式方法在候选变多时判断力大幅下降。鱼和熊掌难以兼得。
而Jev的延迟增长曲线相当平缓。三个类目里,候选集涨到200个,它的延迟依然停留在"一秒左右"的量级，比如电子游戏类目里大概是0.97秒,图书类目大概是0.87秒。跟Qwen逐项式重排序相比,候选集越大,这个差距就越夸张。
不过这里必须说清楚一件事：Jev是通过TypeSafe AI提供的云端接口访问的,而SASRec、DCNv2、Qwen这些模型都是研究者在自己的GPU上本地跑的。Jev的延迟里混杂了网络传输、服务器排队等各种外部因素,并不是纯粹的"模型计算时间"。这个对比不是完全公平的硬件对硬件较量,而更像是"你实际用起来感觉多快"的体验对比。
效果和速度,到底怎么权衡
论文把效果和延迟画在同一张图上,横轴是延迟,纵轴是NDCG@10,越靠左上角越理想，也就是又快又准。
图中用一条线连起了"没有被其他方法同时在速度和效果上都超越"的那些点,这条线学术上叫"非支配边界"。
非支配边界*：在效果和效率两个维度的对比图上,把那些找不到任何其他方案能同时做到更快且更准的点连起来形成的边界线,落在这条线上的方案各有各的取舍优势。
Jev经常出现在这条边界线上,尤其是候选集变大的时候。SASRec和DCNv2虽然快,但效果明显比不过;Qwen逐项式效果不错,但候选一多,延迟就高得离谱;Qwen列表式延迟低,但效果掉得太狠。Jev就卡在中间这个位置,成了很多场景下"综合表现最均衡"的那个选项。
但论文作者很谨慎地提醒读者：这不代表Jev在推荐系统里"天下无敌"。他们只测试了一个决策型模型,只对比了一种规格的Qwen,更大更强的商业闭源模型完全可能表现出不同的效果和成本曲线。这篇论文更像是打开了一扇窗,而不是盖棺定论。
论文也坦承了几个局限。首先,他们完全不清楚Jev内部到底是怎么运作的，它的架构、训练方式、部署细节都是黑箱,所以没法解释"为什么它能做到又快又准"，这背后到底是模型本身设计得巧妙,还是服务端优化得好,谁也说不准。其次,硬件环境不对等，本地跑的模型和云端接口的对比终究隔着一层。最后,图书、电影、游戏这三个类目能不能代表所有推荐场景,也是个问号。
这篇论文留下的更大问题是：如果"结构化决策"这种思路真的在推荐排序里管用，它能不能推广到其他本质上也是"从一堆选项里挑一个"的任务上，比如搜索结果排序、广告竞价、甚至是智能客服里的意图分类？这些任务跟推荐重排序有一个共同点：答案空间是有限且明确的，不需要模型天马行空地生成文字，只需要它在已知选项里做判断。
写在后面
读完这篇论文,我最大的触动其实不是Jev这个具体模型有多厉害,而是它提出的一个更根本的问题：我们是不是把LLM用错地方了？
这几年大家一提到用AI做推荐,第一反应就是上大模型,让它读懂用户画像,生成一段分析,再给出排序建议。但推荐重排序这件事,本质上是个"选择题"，候选商品是确定的,答案是从已知选项里挑一个,根本不需要模型去"创作"什么。用一个专门为自由文本生成设计的工具,去解决一个结构化选择问题,会不会本身就是一种资源错配？
这让我联想到了一个完全不相关的领域：考试。让一个学生做选择题,你给他一张答题卡,他涂个选项就行；但如果非要让他把每个选项的推理过程写成一篇作文,再从作文里判断他选的是哪个,这个过程显然又慢又容易出错。Jev这类"System One"模型想做的,或许就是回归"涂答题卡"这种最直接的交互方式，让模型直接针对选项给概率,而不是绕一大圈先生成文字再从文字里提取答案。
论文里还有个细节让我印象很深：候选集从20个涨到200个时，各家方法的表现排序居然发生了变化。这说明很多论文如果只在小规模候选集上做实验，得出的"谁更好"的结论可能是不成立的，候选集一旦放大到真实业务的规模，排名完全可能洗牌。这提醒我们，看任何AI评测的时候，都得多问一句：这个结论,是在什么规模下测出来的？
Jev到底是昙花一现的噱头,还是"结构化决策模型"这条路线真正跑出来的第一步,现在下结论还太早。但它至少让我们重新审视了一个被忽略的常识：有时候，解决问题最好的工具，不是最聪明的那个，而是最适合这个问题形状的那个。
Q&A
Q1：Jev是什么？
A：Jev是TypeSafe AI公司推出的"System One模型"，它不像传统大语言模型那样生成长篇文字，而是接受上下文信息和具体问题，直接返回带概率的结构化决策结果，特别适合推荐重排序这类从有限选项中做选择的任务。
Q2：Jev在推荐重排序任务中效果怎么样？
A：在亚马逊电影电视、电子游戏、图书三个类目的测试中，Jev的推荐效果普遍优于或接近主流基线，尤其在候选商品数量增多时，效果下滑比Qwen列表式重排序平缓得多，同时延迟增长也远低于Qwen逐项式重排序。
Q3：大语言模型做推荐重排序有什么问题？
A：主要问题是效果和效率难以兼顾。逐项打分的方式延迟会随候选数量线性暴涨，候选集涨到200个可能要等十几秒；整体打包评估的方式虽然快，但候选一多判断准确率会明显下降，两种方式都有明显短板。
