2026年秋天,有一件事挺值得说道说道。
一群研究者给20个当下最强的语言模型出了一套题,题目不难理解:给你一段完整的操作记录,告诉你用户刚刚做了什么动作,你来预测这个虚拟世界接下来会变成什么样。听起来像是模型应该擅长的事情,毕竟它们见过海量的代码、数据库操作、游戏逻辑。
结果呢?
表现最好的模型,也只答对了不到一半的题目。而且有631道题,20个模型全军覆没,一个都没蒙对。
这篇论文的名字叫GLOBEBENCH,是Patronus AI团队做的一套评测基准。它测试的不是模型会不会聊天、会不会写代码,而是一个更底层也更容易被忽视的能力:模型能不能当一个靠谱的"世界模拟器"。
这事儿为什么重要,得先从一个正在发生的趋势说起。
这个世界模拟器,到底是干嘛用的
现在训练AI智能体,一个很火的方法是强化学习。你让AI在一个环境里不断试错,做对了奖励,做错了惩罚,慢慢它就学会了怎么写代码、怎么操作软件、怎么做科研。
但这里有个麻烦事:真实环境太贵太慢了。
想象你要训练一个AI去学操作企业数据库系统,每次试错都要真的连上一个数据库,真的执行一条SQL,真的等结果返回。如果你想让AI试错十万次、百万次,这个成本谁都扛不住,服务器撑不住,时间也等不起。
于是有人想了个办法:干脆用另一个语言模型来模拟这个环境。AI智能体做一个动作,这个"世界模型"就预测环境会怎么反应,不用真的去执行。这样训练速度能快很多倍。
这个思路本身没问题,但有一个致命前提:如果这个世界模型本身就是错的,会发生什么?
答案是,AI智能体会学会一套专门针对"假环境漏洞"的行为模式,而不是真实世界的规律。
这就好比你想训练一个厨师,但你没让他进真正的厨房,而是给他看一套"模拟厨房"的说明书。如果这本说明书写错了,说"油锅起火了往里面倒水就能灭火",厨师按这个练了一百遍,练得滚瓜烂熟。等他真进了厨房,第一次遇到油锅起火,他会很自信地往里倒水,然后酿成大祸。模拟环境教得越"熟练",错误被巩固得越深,这比完全不练更危险。这正是为什么要专门去检验这些世界模型到底靠不靠谱,如果不检验,我们等于是在用一本可能写错的说明书,批量培养出一群带着系统性错误的AI。
这就是GLOBEBENCH想解决的问题:在没人系统性检查之前,没人知道这些AI世界模型到底哪里会出错,错得有多离谱。
题目是怎么出的
研究团队设计了1632道测试题,横跨五个领域:代码操作、企业软件、游戏、数学科学、多轮对话。
每道题的结构很简单。给模型看一段完整的操作历史,这段历史里包含了很多轮之前的动作和环境反馈,最后给出一个新动作,让模型预测这个动作执行后世界会变成什么样子。
关键的巧妙之处在于,这个"正确答案"不是人写的,而是真的在一个固定的后端系统里跑出来的。
执行后端*:一套固定版本的真实软件环境,比如一个真实的数据库、一个真实的Linux容器、一个真实的游戏引擎。题目的"正确答案"是把动作真的丢进这个系统里跑一遍得到的结果,而不是人工编写或模型生成的。
为什么非要这么做?因为如果答案是人写的,人也可能写错,或者标准不统一。而让真实系统去跑,答案永远是客观的、可复现的,就像物理实验一样,只要环境参数固定,结果就是唯一的。
题目还被分成了19种"技能",比如你得记得十几轮之前写入的一个数值(这叫"读写持久性"),你得知道删除一个东西之后它是真的没了("不可逆性处理"),你得在用户撒谎说"这本书是J.K.罗琳写的"时候纠正他("奉承式确认检测")。
研究团队还给每道题标注了两个关键的难度指标。
一个叫"回溯距离",衡量决定正确答案的那个关键证据,距离当前这一轮隔了多少轮对话。另一个叫"影响半径",衡量这个动作的效果到底波及了多大范围,是只改变了它直接点名的那一个对象,还是波及了一堆没有被提到名字的关联对象。
影响半径*:分成四个等级。L0是这个动作根本没改变任何状态,L1是只改变了一个被明确提到的对象,L2是改变了两个或更多被提到的对象,L3则是改变了动作里压根没提到名字的对象,比如你更新了一本书的信息,这个变化自动同步到了所有借阅过这本书的会员记录里,但题目里从没直接说"去改会员记录"。
这个影响半径的设定特别有意思,它其实是在模拟真实世界里最容易被忽视的一类bug:级联效应。你改了一个东西,结果有十个你没想到的地方跟着变了。人类程序员都经常在这种地方栽跟头,更别说语言模型了。
表现最好的模型,也只对了一半
正式测试跑了20个模型,包括18个通用大语言模型(GPT-6系列、Claude系列、Gemini、Grok、Qwen等)和两个专门训练来做世界模拟的模型。
结果是GPT-6 Astra拿下第一名,但成绩是49.57%。
这是什么概念?一枚硬币扔十次,正面朝上的概率大概是50%。当然这个类比不完全准确,因为题目不是二选一,但这个数字确实说明,即便是业界最强的模型,在这件事上的表现也就刚刚过及格线。
更扎心的是第二名到第四名:Grok 4.6拿了28.13%,Claude Opus 5.5拿了26.35%,Qwen 3.8 Max拿了25.31%。
从第一名到第二名,中间隔了整整21个百分点。这个差距大到什么程度?换算成题目数量,GPT-6 Astra比第二名多答对了350道题。
而专门为这个任务训练的两个"世界模型"呢?表现反而更差。Qwen-AgentWorld排到第15名,只有14.46%,另一个叫DWM的模型排第19名,只有5.21%,几乎垫底。这个结果多少有点反直觉,你会以为专门训练来做这件事的模型应该更擅长才对,但实际情况正好相反,它们在19项技能里,一个输给了通用模型的中位数,另一个在所有19项上都输了。
什么情况下模型表现得最差
这才是整篇论文最值得细看的部分。
研究者发现,模型的表现并不是均匀下滑的,而是在特定条件下断崖式崩溃。
先看影响半径这个维度。当动作根本不改变任何状态的时候(L0),20个模型平均能对43.49%。当动作只改变了被点名的一两个对象时(L1和L2),成绩差不多,大概27%左右。但一旦到了L3,也就是动作的效果波及了没被点名的关联对象时,平均成绩直接跳水到5.10%。
从27%掉到5%,这差不多是砍掉了五分之四的准确率。
这意味着什么?意味着模型基本能应付"你让我改A,我就改A"这种直接任务,但只要牵扯到"你让我改A,但A还连着B、C、D,这些也得跟着变",模型几乎集体抓瞎。
这就好比你让一个新员工去办公室改一下某份合同里的价格条款,他能准确地把价格改对。但如果这份合同还牵扯到十几份关联协议,改了价格以后税费计算、违约金基准、分期还款表都得跟着联动更新,大部分新员工是意识不到这层关联的,他们只会盯着你直接说的那一句话去做,改完合同上的数字就交差了,后面一串隐藏的连锁反应全被漏掉。如果训练AI智能体时完全依赖这种世界模型,智能体学会的会是一种"头痛医头脚不疼也不管"的浅层应对方式,一旦放到真实的复杂系统里,各种隐藏的bug就会层出不穷。
再看回溯距离这个维度。
当需要参考的关键信息就在最近40轮对话以内时,20个模型平均能对42.3%。但一旦这个关键信息藏在40轮以外,平均成绩掉到11.4%,几乎是腰斩再腰斩。
研究者还专门做了个细分实验,把"长对话里藏着慢慢变化的关键状态,输出结果又很长"的那类题目单独拎出来看。这类题目要求模型记住几十上百轮之前设定的某个参数,中间这个参数可能被反复修改了几十次,系统从来不会把当前值直接打印出来,模型得自己在脑子里一直追踪这个值的变化。
在这种题目上,平均成绩只有5.1%。
这差不多等于,一百道这样的题,20个模型加起来平均只能蒙对5道。
GPT-6 Astra在这类"长程追踪"题上一骑绝尘,碾压所有对手。研究者专门挑了一道企业权限审计的题目来做案例分析,题目要求追踪一个资源的"能力值",这个值在720轮对话之前被设定,中间被修改了49次,但系统从来没有把当前值直接显示出来过。GPT-6 Astra准确算出了正确的能力值89,而Grok 4.6算出来的是262,这个错误的数值反而"自洽"得很完美,用262去套用规则公式,算出来的权重、状态判断全都符合逻辑,只是源头那个数字一开始就追踪错了。
这个细节特别值得琢磨。Grok 4.6不是推理能力差,它拿到一个(哪怕是错的)数字后,后续计算几乎都是对的。它输在了最开始那一步,就是没能在几百轮对话里把这个隐藏变量稳稳地追踪下来。这就像一个会计师,算账的每一步逻辑都严丝合缝,但账本翻到第一页抄错了一个初始余额,后面算得再精确,结果也全盘皆错。
研究者还发现一个很说明问题的现象:在这类需要长程状态追踪的题目上,GPT-6 Astra用的输出token数量,中位数只有8300,而Grok 4.6要用39900,是它将近五倍。这说明Astra可能不是靠"多想多算"硬扛过去的,而是确实在某种程度上更稳地把状态记住了,而不少同类模型要么算错,要么干脆放弃,直接回复"我没法可靠地算出这个值"。
开源模型和闭源模型,错的方式还不太一样
另一个有意思的发现是,开源模型和闭源模型犯错的"风格"不一样。
开源模型更容易给出一个数值错误的答案,但整体结构是对的,这种情况占它们所有失败案例的58.22%。闭源模型则更容易遗漏或者添加了不该有的字段,这种结构性错误占到31.54%。
研究者把这个差距归因到闭源模型里几个Claude系列模型上。Claude的几个版本有一个特别高的"拒答率",最高的一款Claude Fable 5直接拒绝回答了超过80%的题目,原因基本都是触发了Anthropic自家的网络安全防护机制。这个机制本来是用来防止AI被滥用生成恶意代码的,但在这套测试里,有不少题目只是正常的IT操作和数据库查询,也被误伤拦截了。这就像一个过于紧张的保安,看谁都像小偷,结果把真正来办事的客人也一起拦在了门外。
成功率最高的领域是游戏类(27.8%)和企业软件类(25.5%),最低的是数学科学类(11.7%)和多轮对话类(11.8%)。研究者指出,这个差异很大程度上跟各领域里"需要长程追踪的难题"占比有关。数学科学和对话类题目里,超过84%都是那种藏着隐藏状态的长程追踪题,而游戏和企业类里这个比例只有40%左右。
人类怎么看这些测试结果
光有机器打分还不够,研究团队还专门请了6位有计算机科学背景、懂工具调用、会写SQL和Shell命令的专业标注员,人工审核了200道题的"标准答案"质量。
结果相当令人安心:标注员对"状态一致性"这项的评分,100%的题目意见一致,给出了满分。也就是说,通过真实系统执行得到的答案,质量确实经得起专业人士的检验。唯一分歧稍多的维度是"接口真实感"(也就是返回格式是否像真实系统),大概80.8%的标注员给出了相同评分,这个分歧多半来自对探测用途的特殊工具格式理解不同。
研究者还用另一个语言模型(GPT-5.6 Terra)给剩下1627道题也打了同样的评分,结果发现它在"状态一致性"这项上反而比人类标注员更挑剔,会在9个被人类全部打满分的题目上给出低分。深挖原因发现,这个AI判官里有一半情况是自己重新计算了一遍历史记录里的求和、计数,算出了跟标准答案不一样的数字,结果人工复查发现是AI判官自己算错了,标准答案是对的。这算是整篇论文里一个挺有意思的小插曲,连负责"挑错"的AI,自己也会犯同样的"记不住长历史、算错数"的毛病。
这篇论文之前,大家是怎么做的
在GLOBEBENCH之前,已经有几项相关工作在尝试评估语言模型当世界模拟器的能力。
一篇叫AgentWorldBench的工作,用五个维度(格式、事实性、一致性、真实感、质量)去打分预测的观察结果。另一篇EnvSimBench专门分析了环境返回的文本本身,发现了不少"幻觉式约束违反"的案例,就是模拟器会凭空捏造出一个根本不存在的限制条件,然后拒绝执行一个真实环境本该放行的操作。
GLOBEBENCH和这些前作最大的不同在于颗粒度。之前的评测是把一整条预测的观察结果打一个综合分,而GLOBEBENCH的每一道题都被精心设计成只考察一种特定技能,题目质量还经过12道自动筛选关卡过滤,确保这道题不能靠投机取巧绕过真正要考的能力。这样一来,当模型失败时,研究者能明确知道是哪种能力出了问题,而不是一个笼统的"表现不好"。
后续会怎么发展
这篇论文发布之后,已经能看到一些延伸的思路。论文本身提到的Qwen-AgentWorld(来自Zuo等人2026年的工作)和Patronus AI自家的Digital World Model,都是尝试专门训练一个模型来做世界模拟这件事,只不过从GLOBEBENCH的结果看,这两个专门化模型目前反而不如通用大模型。这说明"专门训练"这条路还没有真正跑通,至少在当前阶段,通用模型靠着更强的底层能力反而更占优势。
另一个值得关注的方向是Deshpande在2026年的工作,尝试用掩码扩散模型(一种和自回归生成不同的技术路线)来做可操控的文本世界建模,比较了不同生成范式在状态多样性上的差异。这类探索说明,大家已经开始意识到,靠现有的自回归语言模型硬train一个世界模拟器,可能不是终极答案,架构层面的创新也许才是突破口。
写在后面
读完这篇论文,最让我意外的不是模型表现差,而是差得这么有规律。
它不是随机地在各种题目上抽风,而是精确地在"需要跨越长距离回忆隐藏状态"和"需要让改动波及未被点名的关联对象"这两类任务上集体崩盘。这种规律性反而让人有点后怕,因为这意味着,如果你现在拿一个通用大模型去当训练智能体的世界模拟器,它大概率会在你最需要它靠谱的那些复杂场景里,悄悄地、系统性地撒谎。
还有一个细节我反复琢磨了很久:专门训练的"世界模型"表现不如通用模型。这跟很多人的直觉相反,专业化训练不是应该更擅长本职工作吗?但这恰恰提醒我们,预测一个系统的下一个状态,本质上考验的是模型底层的推理能力和长程记忆能力,而不是一个可以靠"针对性微调"就能速成的技能。这有点像让一个专门学了十年珠算的人去和一个数学功底扎实但没专门练过算盘的人比心算,结果后者反而因为底子更硬赢了。
GPT-6 Astra在长程审计题上展现出的优势也很值得玩味。它不是靠疯狂堆算力硬算,反而用更少的token就算对了更多题。这暗示着,真正的突破可能不在"想得更久",而在"记得更准"。至于这份"记得准"是怎么炼成的,论文没有给出答案,这大概也是留给后续研究者的一个开放问题。
那631道所有模型都没答对的题,现在还安安静静地躺在GLOBEBENCH的数据集里。它们像一面镜子,照出的不是某个模型的具体缺陷,而是整个技术路线当下的天花板在哪里。
Q&A
Q1:GLOBEBENCH测试的是什么能力?
A:GLOBEBENCH测试的是语言模型作为"世界模型"的能力,也就是给定一段完整的操作历史和最后一个动作,模型能否准确预测环境接下来会变成什么状态,测试涵盖代码、企业工具、游戏、数学科学、对话五大领域共1632道题目。
Q2:表现最好的AI模型在这套测试里得分多少?
A:表现最好的是GPT-6 Astra,得分49.57%,排名第二的Grok 4.6只有28.13%,中间差了21个百分点。专门训练的两个世界模型反而排名靠后,分别是14.46%和5.21%。
Q3:为什么模型在某些题目上表现特别差?
A:当动作的影响波及了没有被明确提到的关联对象时,平均成绩从27%左右骤降到5.1%;当需要参考的关键信息隔了40轮对话以上时,成绩也会腰斩。模型普遍在需要长程状态追踪和级联效应预测的任务上集体失准。







