鹭羽 发自 凹非寺
量子位 | 公众号 QbitAI
不ber，现在的基准测试都进化到酱婶了？？？
这回不刷题了，就直接给AI一组实验条件，让它自己研究、提前猜真实湿实验的结果……
比如，同一个反应换几种条件，哪种能得到更多目标产物？一批抗体变体，哪个表达量更高？
答案先藏好，等AI交卷，再拿实测结果对一对。
你还别说，这事儿现在真值得一测。
这两年，AI for Science的方式越来越深入，AI已经能自主查文献、用软件，为完成一项分析任务连续做上几小时也不在话下。
大家自然而然开始进入下一个阶段：我们到底希望AI具备怎样的科研能力？
湿实验结果预测，就是其中颇有实际价值的一项。
它需要AI理解实验目标，并从已有知识中挖掘出相关机制，才能更好地帮助研究人员筛选值得进一步探索的研究方向。
UniPat AI牵头推出的新基准Science Prediction Universe（简称SPU），便敏锐地察觉到这一点。
116个任务，4207个湿实验，覆盖化学、材料科学、生物和医学，基准顾问与湿实验合作成员也来自斯坦福、康奈尔、哈佛等高校，以及业内前沿科研机构和生物技术公司。
模型践行每次工作8小时制，配有一块H20，然后自主决定怎样利用检索与计算资源形成实验预测。
结果出乎所有人意料。
即使强如Opus 5.5、GPT-6 Astra，数据上距离真正能实现预测还都很遥远。。。
各配置在全部已评分任务上的平均得分
不得不说，SPU这是给所有科研模型都上了道硬菜。
从前那些看不见摸不着的科研能力，如今都变成了可以统一评估、持续研究的数值。
至于AI的科研判断怎样一步步养成，就有了更为具体的讨论依据。
湿实验预测：值得单独为模型考一次回到湿实验预测上，首先这的确不是一道新题。
科学史上有过很多这样的时刻，一个判断在实验之前被给出，然后交给过程去裁决，对了就留下，错了就推翻。
具体的判断逻辑就构成了科学家的品味。
品味够好、直觉够准，科学家就能更快拿到大结果，同时节省宝贵的实验资源。
毕竟光一次湿实验，做化学的要配试剂、设定反应条件，再分离产物；做生物的也要经过漫长的蛋白表达……时间成本、工具费用本身就价格不菲，结果不理想还得反反复复做好几轮。
所以在动手之前先预测，是科研流程里含金量最高的一步。
作者声明：该图片由AI生成
只不过区别在于，过去这件事纯靠科学家自己，现在到了AI时代，模型也需要有这项能力，并且还需要一张能为之打分的试卷。
现有的基准还无法完全覆盖，比如BrainBench让模型直接判断实验结果，ScienceAgentBench侧重在已有数据上完成分析，Terminal-Bench 4.0和Long-Horizon-TB这类长程任务基准，则主要用预设测试检查任务产物。
SPU与之相比，均有所不同。
它更强调把AI自主研究过程与湿实验结果预测放在一起考，既涉及预测效果，也考验科学工具使用和长程任务执行的能力。
图表由AI生成
这种判断也被SPU组织成了明确的任务。
100个公开任务分别取自85篇近期发布的论文，领域专家从研究中整理候选项、材料、条件与测量方式，保留完整的定量结果作为评分依据。
另外16个私有任务，来自四组未发表的合作湿实验，涉及VHH纳米抗体、反应条件、电解液和Magrolimab变体。
共计32个子领域、4207个实验，其中公开研究提供了跨学科的任务来源，实测结果对模型隐藏，未发表实验则增加了独立于公开论文答案的检验。
这在一定程度上可以避免模型提前见过题目。
SPU的任务覆盖与来源
题目的筛选过程也很有讲究。
专家优先选择测量完整、条件清楚的研究，那些沿着单一趋势就能排序的简单问题会被直接剔除，数值过于接近的问题也会被视作参考意义不大。
最终留下来的那些题，都会更难也更有区分度。
具体预测过程中，要求模型每次运行八小时，配8核CPU、16 GiB内存和一块H20，同时允许联网检索并安装科研软件。
模型将在这段时间里自行搜集证据、选择计算方法，最后提交各比较组从低到高的预测排序。
为了防止记忆污染，评分过程也会全程在独立、断网的容器中进行，禁止AI检索原始研究结果，还会自动扫描工具输出，识别源论文DOI、标题等标识符。
最后系统将用Spearman相关系数对照预测与实测排序。
系数越接近1，排序就越贴近实验结果。
SPU的评测流程
有意思的是，SPU还关注到了很多基准测试没有考虑到的细节。
比如对于最后的得分，SPU会考虑会不会是运气使然，万一是瞎猫碰到死耗子了呢。
所以它会额外为每道题生成4000份随机排序，把第95百分位作为随机水平阈值，检查模型提交是否明显超过这一参照。不同任务也都有相应的参照依据。
整套SPU的设计，可以说是科学严谨的。
模型要在里面一步步自己判断什么值得算，并为最终预测交卷。
这一设计既有利于衡量当前AI的湿实验预测能力，也为后续研究团队借助统一指标持续改进实验指明了方向。
说归说，咱们接下来不妨一起看看首批前沿模型的成绩单。个中细节还挺值得单独拎出来讲讲。
全新测试让前沿模型集体破绷SPU首轮系统评测覆盖12款前沿模型、13种配置。这里的配置，指的是模型、推理强度以及所使用的模型框架。
先说说整体成绩。
一句话：都不咋地。
在全部已评分任务上，平均分最高的是Claude Opus 5.5，拿了0.486分。但其中也只有一半的任务，超过了随机水平。
13个配置里，几乎都是这样，能超过随机水平阈值的任务比例仅有34％～52％。
也就是说，在场的所有模型距离真正可靠的湿实验预测，都还有一段很长的距离。
领先组和落后组的行为对比分析
不过模型之间亦有差距，平均表现可以划分为两个梯队：
领先组（6个模型）和落后组（7个模型）。
同题比较中，领先组平均还是要比其余七个高出约0.15分。
还有个细节值得注意。领先组约9％的任务得分低于0，其余七个配置的这一比例能高达22％。
这里的0指的就是随机有效排序的平均分，负分即意味着预测与实际排序呈负相关。
差距具体来自哪儿呢？研究团队又往下深挖了一步。
他们先把同题中其它模型的预测合成一份参考排序，再将实验两两配对，对照实测结果，检查每个模型单独有没有排对。
在参考排序正确的实验对上，领先组能排对86％，其余七个配置为78％；而对于参考排序错误的实验对，两组独立排对的比例都在30％左右。
所以其实领先组的一部分优势，恰恰体现在共同预测正确的地方，这部分领先组始终会更稳。
至于模型为什么会偏离正确判断，运行记录里有更具体的线索。
以溶液任务为例，同一个聚合反应，依次更换12种溶剂，任务要求按最后分离得到的聚合物质量排序。
Opus 5.5得分0.874，Qwen3.8为-0.126。12个候选溶剂条件两两配对，共66对，前者排对56对，后者排对30对。
同一道任务上Opus和Qwen的两次执行
分析发现，这是因为二者从一开始关注的因素就有所差别：
Qwen3.8主要依据溶剂能溶解多少乙烯来排序，Opus 5.5更关注原料的混溶情况以及催化剂在溶剂中的相容性。
虽然Qwen3.8在计算过程中，也同样发现了这一问题，但最终没能直接改变模型最后采用的排序依据。
所以预测出错最有可能发生的阶段，就是在选择判断依据的那一步上，模型还要学会根据线索即时调整排序方式，才能让这些发现真正影响答案。
拆开来看，这些差异也会随着具体学科与任务发生变化。
在公开任务各学科的已评分结果中，化学平均分最高的是Opus 5.5，材料科学是Fable 5.1，生物学是GPT-6 Astra Medium，医学是Opus 5。
P.S.Fable 5.1、Opus 5.5存在拒答现象。
各模型在四个学科上的得分
所以如果准备让AI参与某一类研究，不妨先找个相关任务，拿来SPU测测，确定模型真的适用后再进行正式实验。
私有任务的结果，把这一点讲得更具体。
13个配置中有12个的平均分显著高于随机排序，配置之间没有检出明显差异。相比之下，不同任务带来的变化尤为醒目。
同一批电解液，预测离子电导率时，13个配置的排序相关系数集中在0.89～0.95；换成电化学窗口，12个获评分配置的得分为-0.55～0.07，均未超过随机水平阈值。
模型没变，测量目标一换，成绩分布就明显换了。
所以下次再评价一个模型时，只说它擅长化学还不够具体，还要看它具体面对哪一种测量目标、哪些实验条件。
各模型在16个私有任务上的预测表现
再讲一个挺反直觉的事儿：
一般来说，多给模型一些时间、更高的推理强度，成绩应该会继续往上走吧？
大家普遍都是这样想的，也都是这样做的。
结果你猜咋地，SPU的结果一出，直接啪啪打脸——
在同样的8小时运算下，研究团队将GPT-6 Astra从中等推理强度调到最高，最高强度的运行时间中位数增至4.8倍，API成本中位数也增至5.3倍。
但预测得分……几乎纹丝不动。
嗯？研究团队还特地回去翻了翻模型运行记录。
结果好家伙，在完成的79个任务上，GPT-6 Astra最高推理强度通常在运行到中位26％时，就已经给出了答案。
模型后续也没闲着，继续计算修改，但都是微调，没能在结果中显现出差异。
换言之，推理强度再高，也不一定让结果更好。
GPT-6 Astra在两种推理强度下的投入与表现
这个现象倒也给模型的资源分配提了个醒，如果要追加计算，千万别盲目冲，耗时耗力还未必讨巧。
相反可以更细致地沿着运行记录检查，先充分了解新增的证据究竟对应哪项判断，再有目的性地局部提升算力。
其实在工具使用上，也有类似的现象显现。
GPT-6 Astra Max每次运行使用的方法类别中位数为4类，Medium为1类，但两种配置的得分仍未检出显著差别。
理由也差不多，都是好工具没有用在刀刃上。
比如蒙特卡洛采样，虽然大部分时间模型都在调用该工具，但只是给最后的排序加了点误差范围，没有直接影响到结果本身。
科学计算工具调用情况
所以其实，工具用得再多也不如用得准。
GPU的使用情况也提供了一个有意思的视角。
在提供了充足的GPU算力情况下，真正成功运行GPU计算的只有255次，不到五分之一。
不同模型、不同学科，跑GPU的情况也各不相同，所以单纯看调用GPU的次数，本身很难说明模型科研能力。
要判断算力有没有帮上忙，还得看它被用来算了什么、计算结果是否有助于预测，以及这些结果如何影响最终排序。
关键还是要将算力引到排序相关的物理量上，才能让模型更为精准地完成预测。
GPU使用统计
搭配成本一起看，各配置每次运行的平均API成本，从0.22美元到65.91美元不等，差距足足300倍。
这意味着SPU同时提供预测表现与调用成本，对准备部署科研模型的团队，是个不错的参考依据。
从整体得分到同题轨迹，SPU把模型差异展开到了科研判断的每一处细节里，比如算力、比如成本。
AI算出的数值，对预测到底有多大帮助；预测出了错，又该回头检查哪些判断……这些都能结合实验结果与运行记录继续分析。
下一轮改进也就有了可以明确尝试的方向：
根据SPU，模型能够更及时发现错误假设，更有依据地保留或修改排序。改完后，再放回相同任务，看看预测有没有更准。
把「检验理解」搬进模型的考场可以说，SPU与AI4S的发展规律高度契合。
AI4S的评测正在逐步深入真实实验环节，面向实验执行的基准也在今年陆续出现。
但在执行之外，预测作为科研流程中绕不开的一步，也是最难量化的一步，终于有了可衡量的方式。
这样的好处体现在两方面：
研究者由此可以分析，哪些测量目标更容易预测，哪些任务差异最大，以及一次错误判断如何形成。既能节约昂贵且宝贵的实验资源，也能缩短决策时间。
对模型开发而言，这也提供了更为具体的改进参照。
随着实验类型增多，评测也能回答更具体的问题：面对哪些材料、实验条件和测量方式，AI给出的排序更可靠、更值得参考。
科学家由此可以围绕同一类问题持续积累进展。
事实上，SPU还只是UniPat AI系列真实工作评测中的冰山一角：
ScienceVision：关注模型如何从三维科学对象中获取证据并回答问题；
PaperBenchX：把已发表研究转为可执行、可验证的论文复现任务；
SaaS-Bench及EvoCode-Bench：分别考察实际软件流程与需求持续变化时的开发工作。
……
这些工作覆盖科研、办公与软件开发，共同关心AI进入具体工作后怎样完成任务，以及结果如何得到验证。
这也侧面体现了，UniPat AI对AI走向科研实践、甚至走向真实世界，拥有独到的行业认知和前瞻性判断。
UniPat AI也展示出一种新型的AI合作模式：
领域专家参与任务筛选与审核，合作实验室提供未发表任务，项目团队将不同学科的实验组织成统一评测任务。
以SPU为例，由UniPat AI牵头，顾问成员所属机构包括斯坦福、康奈尔、哈佛、UIC、北大、港科大和FutureHouse。来自优睿赛思、爱博泰克、深度原理与恩和生物的湿实验合作成员，参与了相关实验工作。
跨学科知识与实验资源由此进入同一套评测过程。SPU既承载了对问题的选择，也呈现出将科研问题组织成可执行任务所需的协作。
目前SPU相关的100个公开任务计划以完整的Harbor任务包形式发布；16个私有任务继续保持私有，用于受控评测。数据集和代码都已经开源。
诚然，今天的AI，在这套SPU机制面前还只是新手。
它能把工具用得飞快，能在8小时里装三套软件、跑完DFT再做蒙特卡洛，但在最关键的判断上，它还没学会问自己一句，我算的这个量，是不是实验真正需要测的那个量。
但随着这类任务持续积累，AI能够承担怎样的科研工作，也将变得清晰。
SPU把这段距离量了出来，接下来每一次考试，都是AI向真实实验台走近的记录。
项目主页：https://spu.unipat.ai
论文链接：
https://arxiv.org/abs/2611.15049
GitHub开源链接：
https://github.com/UniPat-AI/SPU
