斯坦福提出ScholarCatalyst聚焦自主科研短板

“在每一个有创造性活动的领域里，一个人的Taste，加上他的能力和机遇，决定了他的风格；而他的风格，反过来决定了他的贡献。因此Taste和风格之于科学研究，就像它们对文学、艺术和音乐一样至关重要。”

这段关于科学创造的深刻论述，出自为我国科学事业作出卓越贡献的诺贝尔物理学奖获得者杨振宁先生。

时至今日，当Deep Research Agent已经能够自主检索文献、规划研究步骤、反复推理，甚至提出新的研究思路，一个始终悬而未决的问题是：当研究还没有答案，甚至连方向都尚未明确时，AI能否像科学家一样，从浩如烟海的已有知识中，找到真正值得借鉴的思想？

近日，斯坦福大学、首尔国立大学、华盛顿大学、CMU、AI2和MIT的联合团队，在《ScholarCatalyst》中向AI发起了这样一场挑战。他们邀请184位来自机器学习、计算机视觉、自然语言处理等领域的顶会论文主要作者，回溯207项研究的灵感来源，试图衡量科研Agent是否具备人类科学家的Taste。过去，我们一直在追问AI能否找到科学问题的答案。但这一次，研究者把问题推向了更深处：当答案尚不存在时，AI真的知道该从哪里开始吗？

先把Taste缩成一个能打分的问题

要判断一个Deep Research Agent有没有「Taste」，总不能直接让它“做出一项伟大发现”，再凭印象打分。论文开篇提出“是什么让伟大的科学家伟大”，但研究团队没有试图衡量科学创造力的全部，而是从中挑出一个具体环节：当研究才刚起步、解法还不知道时，AI能不能从已有文献里找到那些真正可能推动研究前进的论文？

研究者把这样的旧论文称为“催化论文”（catalyst paper）。关键不在于它和新课题是不是同一个领域、标题有多少相似的关键词，甚至不在于它后来有没有出现在参考文献里，而在于它提供的思想曾经帮助研究取得进展，或者在作者看来本可以提供帮助。后一种情况尤其值得注意：即便作者当年没有读过某篇论文，也可以在回顾项目时判断，它原本可能为研究提供有价值的思路。所以，这项任务寻找的不是“最相关的论文”，更不是复原一份引用清单。

图：主题相近不等于能推进项目。左侧论文只在主题上接近，右侧论文为研究者的新检索任务提供了设计启发。

这种启发没有固定形式。一项研究可能借用了旧论文的方法，也可能因为看到了某项实验结果而确认研究方向；有时是把其他领域的思路搬到新场景，有时恰恰是发现前人方案的局限，才找到了继续突破的入口。研究团队让语言模型对663条作者提供的关键启发理由进行分类，发现55.8% 的理由同时涉及两种或更多启发方式。换句话说，一篇论文能帮上什么忙，往往不能只用“借鉴了方法”或“提供了证据”概括；它的价值还取决于研究者眼下要解决什么问题。

图：对663条作者理由的模型多标签分类中，方法借用、实证支持、跨场景推广和已有局限最常见；同一理由可属于多类，比例之和超过100%。

那么，怎样把这件事变成AI真正可以参加的测试？研究者先将已经完成的项目还原到尚未找到最终解法的早期阶段，再把当时面临的问题写成检索查询。每个项目包含一个核心研究问题，以及从不同研究方向切入的一个或多个子领域问题。207个项目共形成了894道查询，两类问题的区别也直接体现在数据上：

CoreQ（核心研究查询，共207个）：关注整个项目“需要借鉴哪些已有思想”。每个查询平均有3.19篇正例（即作者认为有启发价值的论文），其中95.5% 被最终论文引用；查询平均长度为131.8个token。
SubQ（子领域查询，共687个）：从某个具体研究方向切入，寻找“哪些旧研究能帮项目迈出下一步”。每个查询平均有6.09篇正例，其中43.6% 未被最终论文引用；查询平均长度为63.5个token。

对比就很直观了：CoreQ的问题更长、正例更少，而且几乎都能在参考文献里找到；SubQ的问题相对更短、正例更多，近一半却没有出现在参考文献里。这也提醒我们：一份论文的引用列表，并不能完整呈现那些可能推动研究的思想来源。

图：CoreQ更长、正例更少，且95.5% 的正例被源论文引用；SubQ的正例更多，其中43.6% 未被引用。

光给出正例还不够。研究者还安排了另一类容易混淆的候选论文：它们可能和问题高度相关，甚至被原论文引用过，却被作者判断为没有提供所需的启发。这些就是“困难负例”（hard negative）。普通检索系统往往会把它们排在前面，因为主题和关键词都很接近；但在这个测试里，AI必须进一步判断：这篇论文不仅谈到了同一件事，它的思想是否真的有助于推进眼前的研究？

测试成绩主要看召回率Recall@20（R@20）：作者标出的正例里，有多少篇出现在系统返回的前20篇论文中。例如，某个问题有5篇正例，AI在前20篇里找回3篇，那么R@20就是60%。它衡量的是有价值的论文被找回了多少，而不是前20篇里有多少比例正确，更不是AI完成科研任务的成功率。

论文附录里一个脉冲神经网络（SNN）与强化学习结合的案例，能把这道题说明白。研究者面临的难题是：网络刚开始训练时，智能体很难探索出足够长的交互序列，因此难以利用脉冲网络自身的时间动态特性。直觉上，应该优先找脉冲网络领域的论文，但作者的判断出现了一个反差：

2篇未引用的正例：都来自强化学习研究。一篇提出用辅助控制器帮助智能体渡过训练初期；另一篇提供了将辅助控制器的示范数据与TD3训练轨迹结合的思路。
2篇已引用的困难负例：虽然主题更接近脉冲神经网络，也出现在最终论文的参考文献里，却没有被作者认定为这道研究问题提供了所需启发。

这并不是说那两篇未引用论文实际参与了当年的研究过程。它们被列为正例，是因为作者事后判断：如果当时看到这些工作，它们本可以为研究提供帮助。

图：脉冲网络强化学习案例中，两篇未引用的强化学习论文被认为可启发初期探索与训练方案；两篇已引用的相近工作则被判为困难负例。

ScholarCatalyst要检验的，就是 AI 能否在答案出现之前，找到那些可能推动研究的旧思想。而要给它打分，还得先解决一个问题：究竟由谁判断哪些论文具有启发价值？研究团队把这项工作交给了真正参与项目的作者。

184位顶会作者，亲自打分

已发表论文展示了研究成果，却很少记录灵感从何而来；参考文献也难以区分关键启发与常规引用。为补上这段研究过程，团队邀请184位论文主要作者，回顾自己参与的207项研究。其中超过100篇成果曾获得顶会Oral、Spotlight或论文奖项。

数据构建采用“AI起草、作者核验”的流程：从论文的arXiv ID出发，Gemini 3.1 Pro生成CoreQ、SubQ和启发理由；BM25与Qwen3-Embedding-8B各检索15篇候选，Gemini 3.6 Flash重排后保留10篇。作者再修改问题、标注正负例，并写明判断依据。这套流程还支持持续纳入新论文。

图：自动流水线整理源论文、生成查询并检索候选；作者再核对研究问题、判断正负例，并补充启发理由。

自动生成的草稿有多可靠？三组数字说明了差别：

98.1% 的CoreQ、95.9% 的SubQ：被作者评为准确或基本准确。
764个查询（85.5%）：无需修改便通过避免泄露最终解法的审查。
9.2%：在CoreQ的关键论文提名中，自动生成的完整集合与作者标注完全一致的比例。

AI已能较好还原研究问题，但筛选关键启发仍高度依赖作者的一手判断。

图：作者认为重建问题准确或基本准确的比例很高，但自动提名的关键灵感集合与作者完整集合完全一致的比例仅为9.2%。

作者标注还揭示了参考文献之外的大量潜在线索：

43.6% 的SubQ正例没有被最终论文引用。
这些未引用正例中，67.8% 与源论文没有共同参考文献。
自动检索的未引用候选中，35.1% 被作者判定具有启发价值。

引用关系远不足以还原科研灵感。 这些由作者亲自核验的标签，才让ScholarCatalyst有了衡量AI检索能力的依据。

最强只找回48%，会搜索的Agent没有更好

团队让不同系统从约19万篇论文中寻找催化论文，按源论文发表时间限制候选范围，禁用网络搜索，并在主实验中选用知识截止较早的模型，避免提前获知研究结果。

衡量指标是前20篇的召回率R@20。代表性成绩如下：

Qwen3-Embedding-8B：CoreQ37%，SubQ51%；综合约48%，主实验最佳。
Gemini Embedding 2：CoreQ38%，SubQ46%。
GPT-4.1工具调用Agent：CoreQ37%，SubQ43%；综合约42%。
o3 Deep Research Agent：CoreQ33%，SubQ38%。
GPT-4.1 Grep Agent：CoreQ6%，SubQ9%。

最强系统也漏掉了过半的正例。 多轮搜索、规划和推理没有让Agent超越最佳嵌入检索；专用科学检索器SPECTER2、OpenScholar的表现也落后于通用嵌入模型。

图：两类查询的主实验结果：通用嵌入检索器强于多种科学检索器，GPT-4.1与o3的Agent没有超过最强检索器。底部Fable 5.1行是后截止对照，不能当作无泄漏成绩。

值得注意的是，GPT-4.1工具调用Agent本身使用Gemini Embedding 2检索候选；48% 则来自更强的Qwen3检索模型。Grep Agent的问题更突出：它用正则表达式搜索标题与摘要，整个过程只遇到8%的正例，工具调用Agent则遇到46%。候选没找到，后续推理也就失去了发挥空间。

图：GPT-4.1的grep Agent在搜索中只遇到8% 的正例，工具调用Agent遇到46%；黄色条表示最终进入前20条的正例比例。

更强的模型带来了一些变化。Claude Fable 5.1驱动的Deep Research Agent综合达到约51%，但知识截止较晚，可能接触过被评测论文，因此单列为对照。补充实验中，GPT-5.6 Sol和Fable 5.1的工具调用Agent在CoreQ的两个时间切片上都略胜检索器（42% 对35%、47% 对41%），在SubQ上则仍未超过。

图：CoreQ的截止切片对照中，GPT-5.6 Sol和Fable 5.1的工具调用Agent在两个切片上都略超Gemini-Embedding-2。此表不包含SubQ，不能据此推广到全部查询。

模型更强、搜索更多，关键论文为什么还是找不全？ 研究团队接下来把目光转向了检索过程本身。

为什么找不到：关键论文卡在候选池之外

会规划、能推理的科研Agent，为什么还是找不全关键论文？研究团队追踪了它们的搜索过程，发现问题主要出在三个环节：

候选覆盖：Gemini Embedding 2的前100篇结果覆盖了70%的正例，Agent几乎找不到剩余的30%；约一半正例从未出现在Agent的任何一次搜索中。
结果排序：对于检索器前100篇中的正例，工具调用Agent最终保留了57%，Deep Research为48%，Grep Agent仅8%。
启发判断：拿到论文后，GPT-4.1给出的解释有76%与作者理由一致。不过，这项对照由GPT-4.1同时生成和评判解释，反映的是给定论文后的识别能力。

图：检索器前100篇覆盖70% 的正例；Agent很难补回遗漏的论文，最终排序还会进一步损失正例。

最难突破的是候选池。 Agent看到的正例，约三分之二来自第一次搜索，后续反复检索增加有限。更强的基座模型确实能提高召回率，但提升仍受搜索工具的候选覆盖限制：论文没有进入候选池，后续推理就很难发挥作用。

图：不同基座模型的综合能力与工具调用Agent的R@20呈正相关，但检索覆盖仍构成限制。

为什么第一步就会漏掉这些论文？因为现有检索器主要依靠词汇和语义相似度。在CoreQ中，被作者判为缺乏启发的困难负例，平均相似度甚至高于正例。两篇论文谈论同一个主题，不代表其中一篇就能给当前研究带来新思路。即使让Gemini 3.1 Pro阅读已完成的论文和参考文献，反推结果平均也只覆盖32.2% 的CoreQ正例。

图：正例与困难负例的词汇、语义相似度十分接近；CoreQ的困难负例在两项指标上反而更高。

研究团队还测试了几种常见补救办法：

补充信息：提供源论文的标题和摘要，CoreQ召回率提升11个百分点，SubQ提升2个百分点；加入参考文献后CoreQ提升35个百分点，因为其中已包含约95% 的正例。
搜索与阅读：开放网络搜索，召回率变化不超过1个百分点；让Agent阅读摘要之外的内容，变化不超过4个百分点。
改写问题：普通查询扩展没有稳定收益，HyDE生成假设性文献摘要后检索，召回率反而下降17—22个百分点。

图：让GPT-4.1 Agent阅读更多论文内容，R@20变化有限；最好的SubQ阅读策略仍落后于检索器。

更有说服力的是一组候选池补全实验：研究者人为将遗漏的正例放回候选池，再让模型重新排序。在CoreQ的测试中，Gemini 3.1 Pro的R@5从31% 升至47%，Claude Fable从31% 升至60%。这说明模型已经具备一定的辨别能力，只是检索阶段常常没把关键论文送到它面前。

代价却在增加：工具调用Agent平均每题约0.05美元，Grep和Deep Research分别约0.37、0.39美元，成本接近八倍，召回却没有同步改善。要让科研Agent更接近科学家的Taste，首先得让它找到那些值得思考的论文。

图：补入遗漏正例后，Gemini 3.1 Pro与Claude Fable的重排效果明显提升，显示候选覆盖的重要性。

ScholarCatalyst到底能衡量多少科研能力？

48%是前20篇论文的检索召回率，不能直接换算成AI的整体科研水平。ScholarCatalyst的评测还有几条边界：

研究范围：207项研究集中在2025—2026年的计算机科学和AI，机器学习占31.9%、计算机视觉22.2%、计算语言学18.4%。
评价标签：作者回顾研究历程，既标注实际启发过项目的论文，也标注事后认为本可提供启发的论文。
文献规模：候选库共190,896篇，远小于arXiv收录的300多万篇论文。
人类上限：目前尚无足够可靠的整体人类基准可供直接对照。