你有没有遇到过这种情况:请一个很聪明的朋友帮你办事,他把每个细节都做得漂漂亮亮,报告写得工整,图表画得精美,可是回头一看,他压根没解决你真正想问的那个问题。他可能换了个更容易回答的问题去答,也可能只做了一半就以为完成了。
这正是七个最前沿的AI模型,在面对50道物理学研究题时集体暴露的问题。
一个让人意外的发现
先说一个具体的数字。表现最好的模型叫Claude-Opus-5,它在一套"原子得分"系统里拿到了6.29分(满分10分),这个成绩在参赛的七个模型里排名第一,而且遥遥领先。
但当研究者换一套评价标准,去看它是否真正把一个科研问题从头到尾彻底解决,这个得分第一的模型只有32.7%的尝试做到了完全闭合。
换句话说,即便是最强的AI,十次研究里有将近七次都没能把问题真正说清楚、说透。
这个发现之所以值得专门拿出来讲,是因为它戳破了一个我们很容易默认的假设:分数高就等于答案对。这篇来自上海人工智能实验室、上海交通大学等机构联合完成的论文,题目叫《From Research Goals to Scientific Closure》,提出了一个新的评测体系,专门用来检验AI能不能像真正的科学家一样,把一个研究问题从提出到彻底解决走完全程。
科研闭环:到底卡在哪儿
要理解这项研究,得先弄清楚一件事:现在市面上评测AI科研能力的方法,大多在测什么。
目前已有的一些基准测试,比如GPQA和"人类的最后考试"(HLE),考的是AI能不能答对专家级的问题,类似一张高难度的闭卷考试。还有像SciCode这样的测试,看AI能不能写出能跑通的科研代码。再往前一步,PaperBench之类的测试,看AI能不能复现一篇已发表论文里的实验。
研究闭合度:指一项科研调查是否已经把研究问题所需的证据、解释和适用范围全部确认清楚,从而给出一个站得住脚的最终结论。
这些测试各有价值,但它们普遍漏掉了一件事:一个AI可能把某个局部任务做得很漂亮,却没有真正完成那个"从问题到答案"的完整旅程。打个比方,这就像考察一个厨师做菜,只检查他刀工好不好、火候对不对,却没问最后那道菜端上桌,到底能不能满足顾客点单时提的那个具体要求。
如果不检查这个"闻之始末"的完整性会怎样?论文给出的答案很直接:你会被局部的精彩表现蒙蔽,误以为AI已经具备独立科研的能力,实际上它可能只是在一堆正确的碎片里打转,始终没拼出那张完整的拼图。
这就是研究者设计PhysClosureBench这套新基准的出发点。
PhysClosureBench:50道没有标准答案路径的物理题
这套基准包含50个物理学研究任务,领域横跨强场物理、阿秒科学、固体材料中的强场效应、量子光学等多个前沿方向。每一道题都来自已经发表在《物理评论快报》《物理评论A》等权威期刊上的真实研究,确保题目本身是靠谱的、经过验证的。
但这套测试的巧妙之处不在于题目选得专业,而在于它给AI的信息量是"刚好够用,但绝不多给"。
每道题会告诉AI研究目标是什么、物理系统的设定是什么、关键参数有哪些、必须遵守的约束条件是什么,以及能用的计算资源有多少。但题目绝不会告诉AI具体该怎么一步步解决这个问题,不会给出标准的诊断流程或验证顺序。
这意味着AI得自己决定要生成什么证据、怎么分析这些证据、怎么验证自己的结论是不是靠得住。
这种设计很像让一个新来的研究生接手一个课题。导师只会告诉他研究目标是什么、实验室有哪些设备、经费预算是多少,却不会手把手教他每一步该做什么实验、用什么方法分析数据。如果导师把每一步都安排好了,那测的就不是这个学生的科研能力,而是他执行指令的能力。真正检验一个人能不能独立做科研,恰恰是看他在没人指路的情况下,能不能自己找到正确的方向。
这些任务被放进一个隔离的、断网的计算环境里跑,每道题都有专门分配的CPU核心数和时间限制。这些限制不是随便定的,研究者先亲自把每道题的参考结果复现了一遍,记录下复现过程实际花费的资源,再多预留一些余量,给AI留出规划、试错、换方法的空间。
两套尺子:原子得分与研究闭合度
论文最核心的创新,是把科研表现拆成两套互相补充的评价尺子。
第一套叫原子得分,打分范围0到10分,由20个预先设定好的、针对每道题目定制的半分制评分项组成,分为五个功能维度:问题构建、输出结果、特征识别、机制解释、验证与适用范围。
原子得分:衡量AI在局部科研环节上完成了多少实质工作的指标,满分10分,由20个0.5分的小项加总得出,涵盖题目构建、结果产出、关键特征识别、机制解释和验证适用范围五个方面。
第二套叫研究闭合度,分成RC0到RC4五个等级,RC0代表这项研究压根没抓住题目要考的核心对象,是彻底的空白;RC4代表这项调查已经把题目要求的全部证据和适用范围条件都确认妥当,是真正意义上的完整收尾。中间的RC1到RC3,则代表不同程度的"做了一些,但还没完全做到位"。
研究闭合度(RC0到RC4):衡量一项科研调查是否彻底回答了研究问题的等级体系,RC0表示毫无实质进展,RC4表示所有必需的证据和适用边界都已确认清楚,是真正完整的科学结论。
这两套尺子为什么要分开设计,而不是干脆用一套就够了?
答案藏在论文最关键的那组数据里。研究者统计了全部1050次AI尝试(七个模型,每个模型对50道题各跑三次独立的尝试),发现其中229次尝试的原子得分达到了8分以上(满分10分),算是相当亮眼的成绩。可就在这229次高分尝试里,有83次(占36.2%)依然没有达到RC4,也就是说研究问题并没有被真正彻底解决。
更扎心的是,这83次里有55次停留在RC2,这意味着AI生成了大量正确、扎实的局部结果,却始终没能把这些结果串联成一个支撑最终结论的完整论证链条。
这就好比一个学生做数学大题,每一步的计算都对,公式套用得也没问题,可是最后那句"所以答案是……"的总结句,写得逻辑不通,或者干脆漏掉了题目问的那个关键条件。老师批改时会发现,前面的分数该给,但这道题最终并没有真正答对。如果只看每一步计算对不对,给出的分数会显得很高;可如果老师真的在意这道题是否完整解答了,那这份高分卡的意义就要大打折扣。
这正是为什么研究闭合度必须和原子得分分开评,因为它们回答的是两个不同层级的问题:一个问"你干了多少活",另一个问"你把事情办成了吗"。
AI们在哪里卡壳:机制解释和特征识别最拖后腿
论文细致拆解了五个功能维度在不同AI模型上的完成情况,结果显示出一个相当一致的规律。
无论哪个模型,问题构建这一项的完成率都是最高的。拿表现最好的Claude-Opus-5来说,它在问题构建维度上的完成率高达85.6%,但在输出结果维度上只有60.1%,特征识别维度54.6%,机制解释维度52.8%。
这意味着,AI普遍很擅长读懂题目、把物理设定和数学框架搭建起来,但越往后走,涉及到"从生成的数据里找出关键信号"和"把这些信号和背后的物理原理联系起来"的环节,表现就明显下滑。
举个具体的例子帮助理解这个落差。有一次AI的研究任务是生成某种能谱数据,并把不同成分的贡献拆分开。它确实把这件事做得很细致,拆分结果也是对的,数值计算几乎是满分。但当它需要解释这些拆分结果意味着什么样的物理机制时,它停住了,报告里没有把计算结果和背后的物理图像连起来。
这种情况就像一个人把一道菜的所有原材料都备好了,切配得整整齐齐,火候也掌握得精准,可是最后那句"这道菜之所以好吃是因为……"的点评,他说不出来,或者说错了。原材料的处理再完美,也替代不了最后那句对味道成因的解释。如果没有这句解释,别人就无法知道这道菜到底好不好,只能看到一堆处理精良但意义不明的食材。
验证与适用范围这个维度的情况更复杂一些,它不能简单归为"做得差",而是分成了三种不同的子项。论文发现,AI普遍擅长说明"我的结论在什么条件下适用"(满足率86.9%),但对"任务明确要求必须做的验证检查"只完成了59.6%,对"由方法本身暴露出的具体风险做针对性验证"只完成了47.8%。
换句话说,AI很会给自己的结论画一个安全的框,却经常忘了去检查框里到底藏着什么没拆的雷。
一次具体对比:三个AI做同一道攻钥匙题的三种结局
论文里有个案例特别值得细讲,因为它把前面说的抽象问题变成了一个可以看得见的场景。
这道题研究的是"阿秒钟"实验里的一个现象:当用一束极短的激光脉冲把电子打出原子,电子离开后还会和原子核的残余电场发生散射,这个散射会让电子最终的飞行方向出现一个偏移角。题目要求AI判断,这种散射模型能不能同时解释"库仑势"(没有屏蔽的纯净电场)和"屏蔽势"(被周围电子云削弱过的电场)两种情况下,偏移角随激光强度变化的规律。
三个模型给出了截然不同的答案质量。
Kimi-K3在计算过程中发现自己的两种计算方法(轨道积分和直接轨迹传播)算出的偏移角方向正好相反,它没有忽略这个矛盾,而是花时间找出问题根源,把误差修正到了极小的量级,并且明确说清楚了自己的结论只在哪个具体的强度范围内站得住脚。最终它拿到了满分10.0,达到了RC4,也就是彻底闭合。
GPT-5.6-Sol正确地解释了屏蔽长度变化如何影响偏移角,机制讲得很到位,拿到9.5分。但它自己生成的一个诊断数据明明提示在高强度激光下,传统的"库仑势垒抑制阈值"可能不适用于屏蔽势这种新情况,它却没有正面处理这个风险,报告里的结论和这个诊断数据之间留下了一个没打上补丁的缺口,最终停在RC3。
Gemini-3.1-Pro的问题最耐人寻味。它老老实实生成了全部需要的数据,但在总结趋势时犯了一个解读错误,它把自己计算出来的"先上升后趋于平缓甚至回落"的曲线,写成了"随激光强度增大单调递减"。研究者把它提交的原始数据重新画了一遍图,一眼就能看出曲线明明是上升的,和它文字描述完全相反。这个误读直接导致它的核心论证站不住脚,最终只拿到4.5分,停在RC2。
这三条路径放在一起看,传递出一个很清楚的信号:同样的起点、同样的物理设定、同样的计算环境,最终走到完全不同的终点,差别不在于谁算得更快或者谁的代码更长,而在于谁更认真地核对了自己生成的东西到底说了什么。
这就好比三个人用同一台体温计给病人测体温,一个人读数之前反复核对,发现仪器显示有异常立刻查原因;一个人读出了数字,但没注意到仪器提示的"电量不足"警告;另一个人干脆读错了数字,把38度看成了37度,还一本正经地写进了病历。仪器本身给出的信息都是真实的,区别只在于谁真正把这些信息看懂、看全了。
重复三次,结果却不一样
论文还做了一件很多评测都会忽略的事:对每道题,每个模型都独立跑三次,看结果是否稳定。
这组数据揭示的问题,可能比前面所有发现都更让人担忧。
Claude-Opus-5在三次独立尝试中,至少有一次达到RC4完全闭合的任务比例是50.0%,听起来已经不错。可如果要求这三次都必须达到RC4,这个比例骤降到18.0%。
GPT-5.6-Sol和Kimi-K3的情况更明显。它们在至少一次尝试中达到RC4的任务比例都是40.0%,但要求三次全部达到RC4,分别只有10.0%和4.0%。
DeepSeek-V4.1-Flash的落差最大。它至少一次达到RC4的比例是24.0%,但三次全部达到RC4的比例是0.0%,一次都没有。
这意味着什么?意味着即便一个AI模型证明了自己有能力把某道题彻底答对,这种能力也不是稳定可靠的。它可能这次运气好、思路对,下次换一个随机种子就偏离了轨道。
这就像一个射箭选手,偶尔能射中靶心,但如果让他连续射三箭,要求每一箭都中靶心,他大概率做不到。靶场教练不会因为他某一箭射中了靶心就断定他技术过硬,真正能上场比赛的选手,是那种每一箭都大致稳定在靶心附近的人。目前这些AI模型,更像是偶尔手感爆棚的新手,而不是技术稳定的职业选手。
这个发现之所以重要,是因为它提醒我们,在评估AI科研能力的时候,"它能做到"和"它总能做到"是两件完全不同的事。如果只看一次尝试的结果,很容易高估一个模型的真实水平。
这篇论文建立在什么基础之上
PhysClosureBench不是凭空出现的,它站在一系列前人工作的肩膀上,同时也指出了这些前人工作留下的空白。
比较早的工作里,"AI科学家"(The AI Scientist)这类项目尝试让AI完成从实验设计到执行再到分析的完整研究流程,算是最早探索让AI独立做科研这件事的尝试之一。随后出现的MLE-Bench和RE-Bench,专注于考察AI在机器学习工程和研究工程任务上的能力,但它们对"研究决策"和"证据整合"这两块的评估相对有限。PaperBench则专门测AI能不能复现别人已经发表的研究,这是另一个重要但不同的维度,它测的是复刻能力,不是开放式探索能力。
更接近PhysClosureBench的工作是去年提出的PRL-Bench,它同样聚焦物理学研究任务,也引入了代码执行和基于评分标准的评估,但在"研究闭合度"这个维度上,只能算是部分覆盖,还没有像这篇论文一样提出一套系统的、分级的闭合度评价框架。
PhysClosureBench真正往前推进的地方,是第一次把"这项研究到底有没有彻底回答研究问题"当成一个可以独立测量、独立打分的指标,而不是把它笼统地混进整体的任务完成度里。
从一道题延伸出的更大问题
回到开头那个让所有AI困惑的核心矛盾:为什么能力很强的AI,依然经常答不全问题?
论文给出的解释,核心是科研本身的性质决定的。科学研究从来不是"产出一堆看起来合理的结果"就算完事,它要求把研究问题、生成的证据、对证据的解释、以及这个解释能够适用的边界,全部串联成一条站得住脚的逻辑链。这条链条上任何一个环节断掉,无论之前的工作有多精致,整个结论都会悬在半空。
这也揭示了评估AI科研能力这件事本身的难度。如果只用一个笼统的分数衡量AI的科研水平,很容易把"做了很多正确的事"和"把事情真正做成了"混为一谈。而这两者之间的差距,恰恰是未来AI要真正成为可靠的科研助手之前,必须跨过去的那道坎。
写在后面
读到那个Gemini把上升曲线说成下降曲线的案例时,我忽然想到一件更普遍的事。
这不是AI不会算数,它是算对了,画图也没问题,它是在"看图说话"这一步出了岔子。这让我意识到,很多时候我们担心AI会不会算错题,反而忽略了一个更隐蔽的风险:它可能把每一步计算都做对了,却在把这些计算翻译成人话的那一刻,悄悄走偏。这种错误特别难抓,因为中间的每一步看起来都无懈可击,错误藏在最后那句"所以结论是……"里。
还有一个细节让我反复琢磨。论文提到,三次重复跑同一道题,结果可能一次完全成功、一次中途卡住、一次彻底跑偏。如果我们只看一次评测结果就给AI下结论,很容易被一次好表现冲昏头脑,或者被一次坏表现误导。这提醒我,评估任何智能系统的能力,单次测试给出的信号,可能本身就带着很大的噪音。
那个在三个模型里脱颖而出的Kimi-K3,胜出的关键不是算得更快或代码写得更长,而是它在计算过程中发现了两种方法算出的角度方向互相矛盾,然后停下来去查这个矛盾到底出在哪儿。这种"发现矛盾、不绕过去、认真查原因"的习惯,恰恰是很多人类研究者也未必能稳定做到的事。或许真正区分一个科研工作是否可靠的,从来不是算力或者速度,而是面对自己生成的结果时,有没有那份愿意多问一句"这真的说得通吗"的耐心。
Q&A
Q1:PhysClosureBench是什么?
A:PhysClosureBench是上海AI实验室等机构联合提出的物理学科研能力评测基准,包含50道源自权威期刊真实研究的任务,用来检验AI能否独立组织完整科研调查并把问题彻底解决,而不只是答对局部题目。
Q2:为什么AI的原子得分很高,但研究闭合度却很低?
A:原子得分衡量局部科研环节完成情况,研究闭合度衡量整个研究问题是否被彻底解决。论文发现229次高分尝试里有83次没达到完全闭合,说明AI能把每一步做对,却经常没能把这些结果串成一个真正解决问题的完整结论。
Q3:表现最好的AI模型是哪个?
A:Claude-Opus-5在原子得分和研究闭合度上都排名第一,平均得分6.29分(满分10),完全闭合率32.7%,但即便是最强模型,重复三次都能完全闭合同一道题的比例也只有18%。







