2026年2月的某一天，如果你打开Kaggle的一个新页面，会看到一件挺奇怪的事：GPT-5.2、Gemini 3 Pro、Claude Opus 4.5这些顶级AI模型，正在互相下棋、打牌、玩狼人杀。
不是演示，是真打。
而且打得很认真：单单扑克这一项，十个模型两两对战，一共下了90万手牌。这数字什么概念？之前业内最大规模的LLM扑克测试PokerBattle，一共打了3800手牌。这次的测试量是它的两百多倍。
为什么要费这么大劲，让AI去打牌下棋？答案藏在一个所有做AI评测的人都头疼的问题里：怎么知道一个模型到底强不强，还没强到评测方法失效。
**现在最常用的评测题库，正在集体失效**
你可能听说过MMLU、GSM8K这些评测基准，它们像是给AI模型准备的标准化考试，用来测知识储备、数学推理、常识判断。这套体系用了好几年，一直挺管用。
引用块：MMLU：一套涵盖57个学科的选择题测试集，常用来衡量语言模型的知识广度。GSM8K：一套小学数学应用题测试集，用来看模型的数学推理能力。
问题是，顶尖模型在这些题上的分数已经逼近满分，大家考出来的成绩越来越接近，根本分不出高下。这就好比一场100分的考试，如果全班都考到98分以上，老师还怎么知道谁更聪明？
更麻烦的是，这些题目是固定的，答案是公开的。模型训练用的语料库浩如烟海，谁也说不准某道题的答案是不是早就被模型"背"下来了。业内管这个叫数据污染，说白了就是学生提前拿到了考卷。
于是有人想了个办法：不用固定题库，改用"打分"的方式评测。Chatbot Arena让真人给两个模型的回答投票，谁的回答更好谁得分。MT-bench干脆让一个强模型去评判另一个弱模型的回答质量。
这两种方法确实解决了题库过时的问题，但引入了新麻烦。人类评委带着自己的偏好，容易被说得漂亮但内容空洞的回答忽悠，这在评测圈叫"话痨偏见"。AI评委呢，容易对着测试对象一味说好话，这叫"讨好偏见"。说到底，这些打分都带着主观色彩，噪音很大，结论不够硬。
游戏提供了一条第三条路。下棋赢了就是赢了，扑克赢了筹码就是赢了钱，这种结果客观到没法反驳。而且随着模型变强，它们下出的棋局、打出的牌局会自然变得更复杂，不会像固定题库那样一眼见底，也就避免了饱和问题。
这不是全新的思路。1997年深蓝赢下国际象棋世界冠军卡斯帕罗夫，是机器智能史上一个标志性时刻。之后AlphaGo攻克围棋，AlphaZero横扫国际象棋、围棋、将棋三个领域，Cicero在需要读懂人心的外交博弈游戏Diplomacy中打到人类水平，Libratus和Pluribus在扑克桌上证明AI能超越顶尖职业选手。这些成果一次次说明，游戏是检验智能水平的一把好尺子。
不过之前面向大语言模型的游戏测评，普遍有个短板：要么规模太小只有几千局，统计上立不住脚；要么是固定数据集，不能持续更新；要么局限在某一类游戏里，没法系统对比不同能力维度。这次的Kaggle Game Arena想解决的，正是这些遗留问题。
**三种游戏，三种能力**
Game Arena这次选了三款游戏打头阵：国际象棋、扑克、狼人杀。乍一看是三个风马牛不相及的领域，其实每一款都在考验AI的一种不同能力。
国际象棋是完全信息博弈，双方都能看到整个棋盘，没有隐藏信息，纯粹拼算计和规划。扑克是不完全信息博弈，你看不到对手的底牌，靠概率推断和心理博弈取胜。狼人杀更进一步，不仅信息不对称，还引入了语言交流，玩家可以说谎、结盟、猜疑，考验的是社交推理和博弈论层面的深层判断。
引用块：完全信息博弈：所有参与者都能观察到游戏的全部状态，比如国际象棋。不完全信息博弈：参与者只能看到部分信息，比如扑克里看不到对手的底牌。
这三个游戏摆在一起，等于给AI模型的"大脑"做了一次CT扫描，分别照出规划能力、概率推理能力和社交博弈能力这三个不同的切面。这就好比体检不能只测血压，还得测血糖、验血脂，每一项指标都在说不同的事，合在一起才能看出一个人整体的健康状况。
十个模型参与了这次测试：OpenAI的GPT-5.2、GPT-5 mini、o3，Anthropic的Claude Opus 4.5、Sonnet 4.5、Haiku 4.5，谷歌的Gemini 3 Pro Preview、Gemini 3 Flash Preview，xAI的Grok 4、Grok 4.1 Fast Reasoning，还有DeepSeek V3.2。都是2026年2月前后各家公司的头部产品。
**国际象棋：谁在中局悄悄拉开差距**
先说国际象棋。规则很朴素：不给模型任何提示，模型看到的只是当前棋局的FEN记号（一种描述棋盘状态的标准格式）和完整的走棋历史，自己判断该走哪一步，还得自己保证这一步是合法的。
引用块：FEN记号：Forsyth-Edwards Notation的缩写，一种用文本字符串精确描述国际象棋当前局面的标准格式。SAN记法：标准代数记谱法，用来记录一步棋，比如Nf6表示马跳到f6格。
每对模型下40局，白棋黑棋各20局，避免先手优势带来的偏差。如果模型连续走出非法棋步，允许重试，但重试次数有上限，超过就直接判负。研究团队管这种被迫重试的情况叫"rethink"（重新思考），并把它的出现频率当成一个衡量模型可靠性的指标。
结果分层特别明显。Gemini 3 Pro Preview和Gemini 3 Flash Preview组成第一梯队，内部Elo评分分别是1325和1297，遥遥领先。第二梯队是o3（1009分）和GPT-5.2（933分），表现不错但波动更大。再往下是Grok 4（773分）、Grok 4.1 Fast Reasoning（632分）、GPT-5 mini（525分）。垫底的是Claude系列的三个模型和DeepSeek V3.2，Claude Opus 4.5只有236分，DeepSeek V3.2作为基准被设为0分。
引用块：Elo评分：一种源自国际象棋的排名系统，通过两两对战结果推算选手实力，分数差越大代表实力差距越明显。
研究团队还请出了国际象棋引擎Stockfish来做局势判断，把每一步棋换算成胜率曲线。结果发现，开局阶段各家模型水平其实差不多，真正拉开差距的是中局。强模型的胜率曲线在中局之后稳步爬升，弱模型则一路下滑，越到残局越被动。
这个发现挺有意思。开局往往有固定套路可以照搬，但中局需要临场判断局面、权衡多种可能性，这才是真正考验"棋力"的地方。就像考试里，选择题大家都能蒙对个七七八八，真正拉开分数的是需要自己推导的大题。
研究团队顺带发现一个有趣的现象：模型们几乎清一色偏爱西西里防御这个开局。为了避免这种"路径依赖"掩盖了模型的真实适应能力，他们又设计了一个变体测试Chess Opening，让每局棋从20种流行的两步开局中随机选一种起步。结果排名基本没变，说明前面的结论站得住脚，不是靠死记硬背某个开局套路撑起来的。
**扑克：90万手牌里的真金白银**
扑克这部分的设计尤其讲究。玩的是无限注德州扑克单挑（Heads-Up No-Limit Texas Hold'em），这是计算机扑克研究里公认最严格的测试变体，之前Libratus就是在这个赛制里击败人类顶级职业选手的。
盲注设置是1-2，每手牌双方各拿100个大盲注的筹码，打完一手就重置筹码，避免破产效应干扰对策略质量的判断。
真正有意思的设计在于两点。第一，研究团队没有把每一手牌当成孤立事件处理，而是把100手牌打包成一个"章节"，模型能看到这个章节里之前所有对局的完整记录，包括对手的底牌（不管有没有摊牌都会公开）。这样设计是想看AI能不能像真正的职业牌手一样，通过观察对手的行为模式逐渐摸清对方的风格，然后调整自己的打法。
第二个设计叫"镜像对局"，每套100手牌的发牌顺序会被预先打乱固定，然后完整地打两遍，双方互换座位和手牌。这么做能大幅降低运气因素带来的干扰，因为同样的牌面下两个模型各打一遍，谁的决策质量更好一目了然。
引用块：镜像对局：又叫复式扑克，让同一副已定好顺序的牌被打两遍并互换座位，用来剥离运气因素，纯粹比较决策水平。
这种做法在职业扑克比赛里是标准操作，但研究团队特意指出，这是它第一次被用在LLM扑克评测里。
每对模型之间打足20000手牌，十个模型全循环下来就是45对组合，总共90万手牌，每个模型平均分到18万手。这个规模确实惊人，前面提过PokerBench的评测量还不到2000手，跟这个比起来简直是小巫见大巫。
结果同样清晰地分成三层。顶层是GPT-5.2，每百手净赚46.6个大盲注，o3赚29.7，Grok 4赚27.1，都明显跑赢盈亏平衡线。中层是Claude Opus 4.5（+17.6）、Claude Sonnet 4.5（+12.8）、Gemini 3 Flash Preview（+5.5），小赚。底层四个模型全是负数，DeepSeek V3.2亏10.1，Gemini 3 Pro Preview亏15.2，Grok 4.1 Fast Reasoning亏19.2，GPT-5 mini亏得最惨，每百手净亏94.9个大盲注。
引用块：BB/100：扑克里衡量盈利能力的标准指标，表示每打100手牌平均能赢多少个大盲注，是跨牌局、跨对局规模比较收益的通用尺子。
值得留意的是，GPT-5.2是唯一一个对每个对手都保持正胜率的模型，胜率区间在57%到76%之间。而Grok 4虽然总体盈利排第三，但九场对局里只赢了三场，说明它的高收益主要来自对特定几个弱手的碾压，而不是全面稳定的优势。这提醒我们，光看总收益容易被少数几场大胜带偏，得结合逐场胜负才能看清全貌。
研究团队还分析了各模型的翻牌前策略，比如按钮位（相当于庄家位置）的加注频率、大盲位面对加注的应对方式。GPT-5 mini开局加注频率高达98.3%，几乎逢牌就加，结果收益全场垫底，说明光靠激进没用，后续处理跟不上照样被反打。Gemini 3 Pro Preview则走了另一个极端，大盲位面对偷盲弃牌率高达43.8%，全场最保守，同样输钱。这说明扑克没有放之四海皆准的"最优策略"，太激进和太保守都会付出代价，真正的高手是在两者之间找到那个刚刚好的平衡点，还得根据对手的风格随时微调。
**狼人杀：谁在骗人，谁又被骗**
前两个游戏都是一对一较量，狼人杀不一样，是八人局，涉及团队合作和信息不对称的双重考验。
这个版本的规则设定是两只狼人、一个预言家、一个女巫（原文称Doctor，即"医生"角色，功能类似女巫救人）、四个村民。狼人知道彼此身份，其他所有人一开始都不知道谁是谁。游戏在夜晚私密行动和白天公开讨论之间循环，直到狼人被清空或者狼人数量追平村民阵营为止。
引用块：社会推演游戏：一类需要玩家通过对话、投票、隐藏或推测身份来博弈的游戏，狼人杀是典型代表，核心考验是说谎、识破谎言、拉拢结盟的能力。
一个很实际的技术难题是，标准版狼人杀规则下，村民阵营的胜率天然就偏高。研究团队做了一次很扎实的平衡性测试：让同一个高水平模型（Gemini 3 Pro Preview）同时操控全部八个角色，在标准规则下跑了500局，村民阵营胜率高达73.4%。原因很简单，预言家一旦公开表明身份，女巫每晚都保护预言家，狼人几乎没有破局的办法。
为了让游戏保持博弈张力，团队做了四处规则调整：女巫不能自救、不能连续两晚保护同一个人、投票平局不判定任何人出局、发言和投票顺序每轮轮换而不是固定或随机。改完之后，村民胜率降到56.7%，游戏变得更加势均力敌，也更能考验模型的真实策略水平，而不是靠某个固定套路一路碾压。
这个调试过程很像调音响。一开始声音要么全是低音要么全是高音，得一个个旋钮拧，直到左右声道、高低音都平衡了，音乐才好听。规则设计也是这样，得反复试错才能找到那个让博弈真正精彩起来的平衡点。
评测方法上，狼人杀不能简单地用胜率排名，因为角色是随机分配的，运气成分太大：抽到预言家和抽到普通村民的胜率基础完全不同。研究团队于是引入了一套叫GTE（Game-Theoretic Evaluation，博弈论评测）的框架，把每个模型的整体表现拆解成在不同角色下的具体贡献值。
引用块：GTE：全称Game-Theoretic Evaluation，一种博弈论评测框架，能把模型在多人游戏里的胜负拆解成不同角色下各自的贡献，剥离角色分配带来的运气因素。
具体做法挺巧妙，把整个评测过程建模成一个三方博弈：一方选角色，另外两方分别代表两个待比较的模型，目标是最大化两者在同一角色下的表现差距。用这种设计筛选出最具区分度的对局场景，而不是被那些大家表现都差不多的"简单"角色场景稀释掉真实差异。
结果显示，Gemini 3 Pro Preview和Gemini 3 Flash Preview在所有角色上都拿到了正贡献值，表现最均衡。中层模型开始出现明显短板，比如Claude Sonnet 4.5和Grok 4.1 Fast Reasoning在预言家角色上贡献为负，说明它们不太会拿捏"公开关键信息又不暴露自己"这个分寸。垫底的GPT-5 mini在所有角色上贡献都是负的，说明它无论是骗人还是识破骗局都做得不够好。
研究团队顺带还测了几个更直观的辅助指标，比如关键角色存活率、身份识别准确率、投票成功率。结果这些指标区分度都很差，几乎所有模型看起来水平相近。原因也挺有意思：高水平的模型很快学会了在讨论阶段悄悄达成共识，避免暴露自己的真实判断，所以最终投票更多反映的是群体从众，而不是各自内心真实的推理准确度。这从侧面说明，表面的行为指标常常骗不了人，得靠更深层的博弈论方法才能挖出真实的实力差距。
**成本和实力，从来不是一回事**
Game Arena还顺手记录了每个模型每一步操作的推理成本，画出了一张成本和表现的对照图。
结果挺打脸的：在国际象棋和狼人杀里，性价比最优的模型阵容基本重合；但换到扑克桌上，这张性价比曲线整个变了样，之前高效的模型未必还高效。这说明"哪个模型综合最强"这个问题根本没有一个统一答案，不同类型的任务考验的是完全不同的能力组合，不能拿一个游戏的成绩去推断另一个游戏的表现。
**这套系统还有哪些坑要填**
研究团队自己也承认，目前的设计还有几个待解决的问题。
现在每对模型的对局数量是固定的，但有些对局强弱悬殊一眼就能看出结果，反而是实力接近的对局需要打更多局才能分出统计学意义上的胜负。下一步计划做一个自适应调度系统，把计算资源更多地投给那些还拿不准结果的对局。
另外，模型迭代的速度太快，新模型层出不穷，老模型随时可能下线，这给长期追踪一个模型的进步曲线带来了麻烦。研究团队想做的是一套能应对这种"模型流动"的评测协议，让新旧模型的比较仍然有意义。
还有一个更宏观的问题：国际象棋用Elo评分，扑克用BB/100，狼人杀用GTE评分，三套体系互不相通，没法直接横向比较一个模型的"综合实力"。团队希望未来能做出一套统一的元评分体系，但这在多人合作类游戏里会变得更复杂，因为团队胜负怎么公平地分摊到个人头上，本身就是个开放问题。
这份报告最后也强调，眼下的三款游戏只是个开始，长远来看还要加入更多考验长期规划、谈判博弈、心智理论推理的游戏类型，让评测维度更加立体。
写在后面
读完这份报告，最让我意外的其实不是排名本身，而是同一批模型在不同游戏里的表现完全对不上号。Gemini系列在国际象棋和狼人杀里都是断层第一，可一到扑克桌上就跌到倒数第二，反倒是GPT-5.2在扑克上碾压全场，国际象棋只排第四。这说明"哪个模型最聪明"这个问题本身可能就问错了，聪明本来就不是一个单一维度的东西。
另一个让我反复琢磨的细节是GPT-5 mini。它在国际象棋和扑克两项里都是明确的垫底选手，尤其是扑克，开局加注频率接近满格却依然血亏。这不太像是"能力不够"，更像是策略本身出了偏差，一种执行力很强但方向错误的状态。这让我想到，很多时候一个系统表现差，问题未必在于它算得不够快或者不够准，而在于它压根没搞清楚该往哪个方向使劲。
还有一点值得单独说一句：研究团队特意用同一个模型左右互搏的方式去调试狼人杀的规则平衡性，而不是拍脑袋改规则。这种"先用AI自己验证一遍规则是否公平，再拿去正式测评"的做法，某种程度上也是AI在反过来帮助人类设计更好的评测工具。这个循环挺有意思的，用被测试的对象去校准测试本身。
Q&A
Q1：Kaggle Game Arena是什么？
A：Kaggle Game Arena是一个让大语言模型通过对战游戏进行评测的开放平台，目前包含国际象棋、扑克、狼人杀三款游戏，通过真实对局的输赢结果来客观评估模型的策略能力。
Q2：这次测试里哪个AI模型表现最强？
A：没有绝对的最强者。Gemini 3 Pro Preview在国际象棋和狼人杀里都是第一梯队，但在扑克上表现很差；GPT-5.2则是扑克桌上唯一对所有对手保持正胜率的模型，说明不同游戏考验的能力维度完全不同。
Q3：为什么要用扑克和狼人杀这种游戏测试AI，而不是继续用传统考试题？
A：因为MMLU这类固定题库容易被顶尖模型考到接近满分，区分度下降，还存在数据污染风险。游戏的输赢结果客观且难以造假，随着模型变强对局会自然变复杂，能持续保持评测的有效性。
