2016 年 AlphaGo 打败李世石的时候,全世界都在讨论一个问题:机器能不能"思考"。但很少有人问另一个问题:如果让两个机器互相对弈,谁该上场?
这听起来像是个无关紧要的小问题。可随着大语言模型越来越多地被部署去跟别的智能体打交道,这个问题突然变得不那么小了。
想象一下这样的场景。你的公司用一个 AI 代理去跟供应商的 AI 代理谈判价格,或者在拍卖平台上跟别的 AI 竞价抢资源。你的工具箱里摆着好几个模型可选,有便宜的小模型,也有昂贵的大模型。每一轮交互开始前,你得决定派哪个模型上场。听起来简单,对吧?
但这里有个陷阱。这篇来自埃克塞特大学和 IBM 研究院的论文发现,选模型这件事本身,其实也是一场博弈。你选哪个模型去迎战,直接决定了你能不能赢。而且更麻烦的是,你的对手是谁、它会不会随着交锋而调整策略,这些你压根不知道。
**这篇论文把"选模型"这件事本身,重新定义成了一场嵌套在原始博弈之上的元博弈。**
这个重新定义听起来抽象,但它戳中了一个现实的缺口。
过去研究 AI 博弈能力的论文,比如 GTBench 这样的游戏理论基准测试,做法通常是固定一个模型,看它在某个具体博弈场景里表现如何。这类研究的隐含假设是:你已经决定好要用哪个模型了,现在只是测试它强不强。
另一条平行的研究线是 LLM 路由
*LLM 路由:根据任务特点,自动把查询分配给最合适的大语言模型的技术,通常是在性价比之间做权衡*
路由系统的核心逻辑是看一个问题,判断它该交给便宜的小模型处理还是昂贵的大模型处理。但这类系统有个盲点:它们假设任务是静态分布的,没有对手,也没有策略互动这回事。
这两条线各管一段,谁也没把它们接起来。而现实世界的多智能体交互,恰恰同时需要两者:既要考虑模型能力和成本,又要考虑对手会怎么出招、会不会学习和适应。
研究者们想问的问题很直接:如果不同的大语言模型在不同博弈场景里表现参差不齐,一个"选择器"能不能学会利用这种差异,针对未知且可能会自适应的对手,挑出最合适的模型?
先搞清楚:模型的博弈能力到底有多参差不齐
要回答上面那个问题,研究者先做了一件基础工作:把 10 个开源大语言模型拉出来,放进 5 种经典博弈场景里反复对战,看看谁强谁弱。
这 10 个模型横跨四个家族,Granite、Mistral、Llama、Qwen,参数规模从 3B 到 70B 不等。5 种博弈场景也经过精心挑选,涵盖了从零和对抗到合作困境的不同类型。
*Colonel Blotto(上校博弈):零和资源分配博弈,双方把有限预算分配到多个战场,哪方在某战场投入更多就赢得该战场*
*Cournot Duopoly(古诺双寡头博弈):两家企业同时决定产量,共同决定市场价格和各自利润,考验玩家向均衡产量收敛的能力*
*Stag Hunt(猎鹿博弈):协调博弈,存在风险占优和收益占优两个均衡,考验玩家在对手行为不确定时是选保守还是选合作*
*Vickrey Auction(维克瑞拍卖):第二价格密封拍卖,每个竞拍者按自己对物品的真实估值出价,考验出价是否诚实*
*Chicken Game(胆小鬼博弈):反协调博弈,双方都不让步的结果对两边都是最差的,考验玩家敢不敢冒险升级对抗*
结果出来后,有个数字让人意外。模型参数规模和博弈表现之间的相关系数,皮尔逊相关系数只有 0.37,是个弱相关。如果把使用成本也算进去,这个相关性甚至变成了负的,负 0.54。
**换句话说,更大的模型不一定更会"博弈"。**
这个发现打破了一个很自然的直觉。我们通常默认,参数越多的模型越聪明,越聪明的模型应该在任何任务上都表现更好。但博弈能力似乎不完全遵循这个规律。
一个具体例子很能说明问题。在维克瑞拍卖这个场景里,由于规则本身要求玩家诚实报出自己的真实估值,Granite4.1 3B 这个只有 30 亿参数的小模型,表现居然超过了参数规模是它二三十倍的大模型。因为这个博弈考验的不是"算得多深",而是"是不是老老实实按规则出牌",小模型在这方面反而没有大模型那种想要"耍小聪明"的倾向。
这就好比一场拔河比赛突然换成了踢毽子。拔河比的是蛮力,谁块头大谁占优势。但踢毽子比的是巧劲和节奏感,体格壮不代表踢得好。如果你只按照"谁块头大"来选人参赛,在拔河场上可能赢,但在踢毽子场上大概率要栽跟头。模型博弈能力的场景依赖性,正是这个道理,能力不是一个单一维度的分数,而是和具体规则深度绑定的。
更有意思的是模型的"性格"差异。研究者给每个模型打了一套行为画像分数,比如在胆小鬼博弈里敢不敢冒险、在古诺博弈里产量定得激进还是保守。把这些分数投影到主成分分析的二维平面上后发现,即便是同一个模型家族内部,不同版本之间的行为倾向也能天差地别。
Granite4.1 8B 在胆小鬼博弈里有 96% 的概率选择冒险对抗,而它的 3B 和 30B 版本几乎从不冒险。同一个"家族"的三兄弟,脾气却像完全不认识的陌生人。整体趋势上,Qwen3.5 和 Llama 系列在古诺博弈里更偏好激进竞争,Granite 和 Mistral 系列则更倾向合作。
这个发现支撑了论文的一个核心论点:"选择一个模型,就是在选择一种策略"。模型不只是智力水平的集合,它还带着一套固有的行为倾向,这套倾向在不同博弈场景下会表现出截然不同的后果。
博弈场景里的噪声,比你想象的更顽固
在动手设计选择算法之前,研究者先遇到了一个棘手的统计学问题:怎么才能确定某个模型在某个博弈里真的比另一个模型强,而不是运气好?
大语言模型本身是有随机性的,同样的输入,同样的模型,每次给出的回答可能不完全一样。这种随机性在传统的问答类评测里问题不大,有研究发现重复跑五次左右就能让结果基本稳定下来。
但策略博弈的情况更复杂。因为你面对的不只是自己模型的随机性,还有对手模型的随机性,两层不确定性叠加在一起,噪声被放大了。
为了量化这个问题,研究者借鉴了语言模型评测领域关于信号和噪声的分析框架
*信噪比:衡量某个博弈场景里,不同模型之间的真实差距信号,相对于单个模型自身波动噪声的比值,比值越高说明这个场景越容易可靠地分辨模型优劣*
五个博弈场景的信噪比差异相当悬殊。古诺双寡头博弈的信噪比是 0.931,几乎是其他场景的两倍。而上校博弈的信噪比只有 0.449,几乎垫底。
研究者深挖了一下原因,发现上校博弈里几乎所有模型最终都收敛到了同一种策略,把预算平均分配到各个战场。既然大家打法趋同,模型之间的差距自然就小了,噪声相对信号就显得特别突出。
这个发现直接导致了一个实践上的结论:不同博弈场景需要的重复测试次数(种子数)是不一样的。研究者通过功效分析发现,要让大部分两两对比的结论达到统计显著,需要大约 150 次独立重复实验,而且古诺博弈能更快达到稳定的分辨效果,其他博弈则需要更多重复才能把结论说清楚。
这就像医院做体检一样。量血压可能测一次就八九不离十了,因为血压这个指标本身波动不大。但测血糖就不一样,饭前饭后、情绪波动都会让数值跳来跳去,医生往往要你多测几次取平均才靠谱。如果你拿测血压的标准去测血糖,一次测量就下结论,很可能得出一个误导性的判断。古诺博弈和上校博弈的差别,大致也是这个意思,有些场景天生"读数稳",有些场景天生"读数抖",用同一套重复次数去套用所有场景,结果必然是有的地方过度浪费、有的地方信息不足。
最终,研究者在固定模型对战实验里采用了单轮、300 次种子重复的设置,而在需要选择器在线学习的实验里,因为计算成本的限制,改成了 300 轮、单次种子的设置。
怎么设计一个会"选人"的智能体
搞清楚了模型能力参差不齐、噪声需要特殊处理之后,论文的核心工作才真正开始:设计一套能自动学会"该派谁上场"的选择算法,并且跟现有的各种路由方法做对比。
研究者一共实现了 7 种选择器方法,背景五花八门,有基于大语言模型自我反思的,有基于查询向量匹配的,也有经典的多臂老虎机算法。
*多臂老虎机:一类经典的在线学习算法,灵感来自赌场里的老虎机,玩家要在多台机器之间反复选择,通过观察每次结果逐渐学会哪台机器回报更高,核心是在探索新选项和利用已知好选项之间做权衡*
*LLM Selector:让大语言模型本身充当选择器,每一轮把博弈历史喂给它,让它用自然语言反思后决定派哪个模型上场*
*RouterDC:把当前查询编码成向量,和各个候选模型预先训练好的向量嵌入做相似度匹配,挑相似度最高的模型*
*Thompson Sampler(汤普森采样):给每个模型维护一个关于其表现的概率信念,每轮从这些信念分布里各抽一个样本,派抽到数值最高的那个模型上场,是多臂老虎机里最经典的策略之一*
第一轮实验是让这些选择器去对战一个固定但未知身份的对手模型,模拟最简单的情形。结果相当打脸那些"高大上"的方法。
依赖语言模型自我反思的 LLM Selector 得分最低,甚至在大多数博弈场景里都打不过直接固定使用某一个单一模型。基于查询向量匹配的 RouterDC 和因果路由方法表现稍好一些,但仍然在多个场景里输给了某些固定模型。
反而是最朴素的汤普森采样,在每一个博弈场景里净收益都是所有选择器里最高的,它靠的仅仅是每轮观察到的结果反馈,没有任何花哨的语义理解或自我反思机制。
**但即便是表现最好的汤普森采样,在古诺博弈里也没能超过那个场上最强的固定模型 Llama3.1 8B。**
这说明什么?说明现有的选择算法,哪怕是表现最好的那个,离真正"榨干"模型池潜力还有相当距离。研究者给出了一个参照基准,叫"全信息选择器",它提前知道对手是谁,直接查表选出历史上对这个对手表现最好的模型。这个理想化基准在每个场景里的表现都明显优于所有实际可用的选择器,证明选择这件事本身还有很大的提升空间。
为什么像 RouterDC 这类基于向量嵌入的方法会失灵?研究者给出了一个颇有洞察力的解释:博弈场景里真正有判别力的信息,往往藏在不断演变的博弈历史里,也就是过去几轮的动作和结果,而不是当前这一轮查询文本本身的语义。两轮博弈的文字描述可能几乎一模一样,但背后要求的最优策略却可能截然相反,因为对手刚刚调整了打法。
这就好比两场扑克牌局,桌面上摆的牌面完全相同,但你应该采取的策略可能天差地别,这取决于对手刚才是梭哈了还是弃牌了。如果一个系统只盯着桌面牌型做判断,完全忽略对手刚才的出牌历史,它永远抓不住真正的制胜信号。依赖查询嵌入的路由方法,犯的正是这个错误,它们把博弈场景当成了静态的文本分类问题,却忽略了博弈的本质是动态交互。
当对手也学会了"随机应变"
前面的实验里,对手始终是个固定不变的模型。但现实世界可没这么温柔,你的对手完全可能也在用一套自适应的选择策略,每一轮都根据交锋结果调整自己的打法。
这才是真正考验选择算法的地方。研究者把场景升级,让各个选择器互相对战,而不是打固定靶子。
为了应对这种非平稳环境,论文还专门引入了几种针对性改造过的老虎机算法:
折扣汤普森采样,让旧的观察数据按指数速度衰减权重,新数据权重更高;滑动窗口汤普森采样,干脆只保留最近 50 次的观察记录,更早的数据直接丢弃不用;EXP3 算法,一种专门为应对"对抗性"环境设计的老虎机变体,假设环境可能在故意跟你作对。
*EXP3:一种对抗性多臂老虎机算法,不假设环境是随机的,而是假设对手可能在主动针对你的选择来调整环境,因此在更新策略时会用一种更保守的加权方式*
按理说,这些专门为非平稳环境设计的算法,应该比普通的汤普森采样更擅长应对一个会变化的对手。
结果恰恰相反。
在古诺双寡头博弈的测试里,朴素的汤普森采样净收益达到 72.4,依然是所有方法里最高的。滑动窗口版本是 65.9,折扣版本是 63.1,专门应对对抗环境的 EXP3 只有 60.2,表现最差,跟基于嵌入的路由方法差不多水平。
这个结果多少有点反直觉。专门为对付"会变的对手"而设计的工具,反而打不过最朴素的版本。
这就像一个老司机开车遇到突然变道的旁边车辆。有经验的老司机往往凭本能平稳应对,而刻意按照"应急驾驶手册"一步步执行复杂反应流程的新手,反而容易因为过度反应而手忙脚乱,错过了真正该踩刹车的那个时机。专门设计的非平稳算法之所以表现更差,很可能是因为它们在"遗忘旧信息"这件事上做得太激进,把一些本该保留的有用历史也一并丢掉了,结果学习效率反而不如那个"什么都记得"的朴素版本。
这个发现揭示了一个真正的空白:现有的非平稳老虎机算法设计,大多是针对一般性的概念漂移问题,并没有专门针对"策略博弈里对手也在学习"这种特定的交互结构做优化。研究者在论文里明确指出,这暴露出当前方法在处理策略环境中变化对手这件事上,存在明显的方法论缺口。
不同博弈场景,到底在测什么
论文里还有一个挺有价值的思考,是关于"博弈场景"本身的价值判断。
研究者注意到,模型规模和表现的相关性在不同博弈里差异巨大。古诺博弈里这个相关系数达到 0.66,算是中等偏强的相关,说明这个博弈确实能区分出"更聪明"的模型。但在猎鹿博弈里只有 0.12,在上校博弈里只有 0.24,几乎看不出规模带来的优势。
这意味着古诺博弈大概需要更强的推理能力才能找到均衡策略,而上校博弈则更依赖一条简单规则,谁在某个战场投入多谁就赢,不需要特别复杂的推理。
研究者还提出了一个更深层的理论洞察,关于博弈场景会不会"饱和"。
在零和博弈比如上校博弈里,根据博弈论的基本原理,一旦双方都趋近均衡策略,所有的均衡点给出的期望收益都是一样的。换句话说,当模型越来越聪明、越来越接近最优解时,它们之间的差距反而会消失,因为大家都收敛到了同一个最优答案。
但在一般和博弈里,情况完全不同。均衡集合通常很大,不同的均衡点对应的收益可能天差地别,这意味着即便模型都变得很强,它们之间依然能表现出明显差异。
这给未来设计博弈评测基准提供了一条具体建议:如果想让一个评测体系长期保持区分度,不随着模型越来越强而失去意义,应该优先选择一般和博弈,而不是零和博弈。
这个洞察也延伸出一个更大的问题,关于传统静态评测基准普遍面临的困境,训练数据污染。研究者指出,因为博弈的状态是动态生成的,每一局都是实时交互产生的新结果,这天然地比固定的问答题库更能抵抗那种"模型提前背过答案"的作弊可能。固定的测试集总有一天会被模型"记住",但一场实时博弈的走向,取决于对手这一轮究竟怎么出招,这是没法提前背下来的。
写在后面
读完这篇论文,最触动我的其实不是那些选择算法本身的表现,而是那个看似不起眼的发现:模型规模和使用成本之间居然是负相关的,相关系数是负 0.54。
这个数字背后藏着一个挺值得琢磨的经济学道理。我们默认"一分钱一分货",花更多的钱租用更大的模型,理应换来更好的博弈表现。但论文告诉我们,在策略博弈这个具体场景里,这个常识未必成立。你可能花了大钱,换来的却是一个"耍小聪明"反而输掉拍卖的模型。
另一个让我反复想的地方,是那个关于非平稳老虎机算法反而表现更差的实验结果。这不是个孤立的意外,它提示我们一个更普遍的现象:为了应对"变化"而设计的工具,本身也可能因为设计得太复杂、太急于遗忘历史,反而丢掉了稳定性带来的好处。这或许是所有涉及"适应性"设计的系统都该警惕的陷阱,适应能力不是越强越好,过度适应有时候等于学习能力退化。
论文最后留下的一个开放问题也挺值得咀嚼:如果选择器自己也带一个风险偏好参数,可以调成风险厌恶或者风险偏好,那会怎样?现实里的高风险博弈,比如商业谈判、大额拍卖,一次灾难性的失败可能比十次小赢更要命。一个只会追求期望收益最大化的选择器,未必是你真正想要的那个帮手。
如果你的 AI 代理明天就要去和另一个你完全不了解的 AI 代理谈判,你会希望它带着怎样的"性格"出场?
Q&A
Q1:策略选择器是什么?
A:论文提出的核心概念,指在多个大语言模型组成的模型池里,每一轮博弈根据当前局势和历史结果自动决定派哪个模型上场应战的算法,本质上是把选模型这件事本身也当成一场需要策略的博弈来处理。
Q2:为什么模型参数越大不代表博弈能力越强?
A:论文实验发现模型规模和博弈表现只有弱相关(0.37),考虑成本后甚至变成负相关(负0.54)。比如在维克瑞拍卖中,规则要求诚实出价,小模型因为没有"耍心眼"的倾向反而超过了大模型,说明博弈能力和场景规则深度绑定,不是单纯的智力分数。
Q3:汤普森采样为什么能打赢更复杂的路由方法?
A:因为策略博弈的判别信号主要藏在不断变化的博弈历史里,而不是查询文本本身的语义。汤普森采样直接从每轮真实结果反馈学习,而依赖向量嵌入匹配的方法只能捕捉表面文字相似度,容易忽略对手策略的动态变化。







