2026年7月30日，墨子沙龙与西湖大学合作举办的活动“AI4S：当人工智能遇见科学发现”在西湖大学圆满落幕。麻省理工学院Pappalardo Fellow蔡家麒在活动中讲述如何让AI从实验助手成长为科研伙伴——从实验决策、器件设计到复杂科研流程的组织，探索人类与AI协同科研的新范式。
本文根据报告内容整理而成。
今天我要讲的是：我们怎么样去优化一个Harness，做到它以前做不到的事情，或者说把以前做的事情做得更好。
过去三年AI发生了什么？在疫情后，因为对自动化的广泛需求，我就写过一个提案，说我们得去用自然语言编程或OpenAI Codex来做一个自动做实验的Bot——当时还没有ChatGPT。这个提案很快就被拒掉了。
但到了2024年12月，在我上班的路上（美国剑桥市）就已经能看到标语：“AI Agent Needs a Workflow Engine”。到今年，智能终端和智能体已经出现在我国的政府工作报告上。事情发展得很快。
从深蓝到ChatGPT：AI的演进之路
IBM的深蓝是我们这一代很多人梦的开始，它用Alpha-Beta Pruning技术下国际象棋，打败了一众象棋大师。那时候叫Symbolic AI，通过规则拼出来的智能。
后面一个重要的启发是统计学习的诞生，这得益于大数据的出现。第一个大数据可能是Sloan Digital Sky Survey（SDSS），通过望远镜收集的太空数据。有了互联网之后，数据越来越多，现在我们训练语言模型最重要的Web Crawler也是用的互联网数据。
下一个突破是AlphaGo，它对很多中国人造成了非常大的影响。为什么AI领域有这么多华人在工作？因为我们中国人非常相信下围棋是增长智慧的方式。AlphaGo用强化学习和规则就能把棋下得很好，后面AlphaGo Zero甚至不需要任何规则，仅靠强化学习就学会了，并且比人类强很多。
再下一个突破来自大语言模型。我们训练了一个Transformer，发现只需要一个非常简单的神经网络架构，它就可以做很多事情。最后是著名的Scaling Law，模型可以在规模提升的情况下越训越好，行业迎来了所谓的“ChatGPT时刻”。
现在的AI和当年的深度学习形成了很不一样的范式。以前我们需要很多数据，越多越好，还需要精心设计一个规模合适、深度合适的神经网络去训练它。但现在不一样了，我们不需要任何训练数据，模型已经训好给你了。只需要Zero-shot、One-shot、很简单的Prompting，你就可以做一些事情。
以前做二维材料实验，我们会放光学显微镜去训练一个神经网络；但现在不会了，我们直接问模型：这里有没有二维材料？它去网上搜索，得到结论。
工业界提出了一个叫“人类最后的考试（Humanity's Last Exam）”的基准测试，集合了全世界的科学家之力：有Spin和Valley的场效应管、朗道能级、Gate Capacitance计算、七维非线性腔里的量子光学计算。在这里面做出贡献都是非常难的。
当时最好的模型准确率只有1%，大家觉得AI也就那样。但两个月之后，AI已经突破了其中50%的问题。DeepSeek出现之后，这已经不是一个问题了。事情发展很快。
AI的下半场：从解决问题到定义问题
AI很强了之后，我们就想：能不能给它工具？
2023年左右，姚顺雨等人提出了一个非常简单又可行的方法：给AI配上工具。大语言模型作为大脑做推理，然后给工具下达命令，和现实生活做交互。这叫做ReAct机制（Reasoning and Acting）。收集到足够信息后，它就会停止思考并给出回应。这就形成了所谓的Agentic AI——AI加上工具。
人类的出发点可能是一只猴子，后来成了猿人开始用简单工具，再后来制造工具，最后甚至像上帝一样创造了能制造工具的东西。AI这两年就走完了所有的路程。现在我们已经开始用AI重塑自己：AI for AI。
AI for AI一个很重要的事情是：我们怎么去约束AI的能力，让AI做正确的事情。我们需要提示层让它知道上下文信息，去用一些工具，做好记忆功能、权限管理、评测和记录。这就是AI Harness的组成部分。
AI Harness就是把模型当CPU，Context Window当内存，Agent Harness当操作系统，Agent像跑在操作系统里的应用程序。
我最近构建了两类AI Harness和相应的基准测试。
首先是让AI Agents能够非常安全地做实验。我们给AI Harness建了一个简单的Instrument MCP（Model Context Protocol），AI可以通过它来操作仪器、数据库以及做测量。人类也能通过前端可视化地看AI在干什么。
两年前AI能力还没那么强，但现在已经没有人在用前端了。简单来说，AI可以端到端地完成二维材料的实验。比如它收到一个指令去测某个光学响应，它会做推理、调用工具、写代码、问我能不能跑命令，我点允许，它就开始测量。测完之后分析数据、画图。整个过程1602个点，AI自主完成了。
AI还能表现出一些“智能”的特征——当它不知道某个概念时，会去网上搜索，看摘要获取定义，然后自己写一个全新的程序，把实验端到端执行出来。
用基准测试说话，评测AI的真实能力
有了AI能做实验之后，下一步是让它做很多实验。我们是物理学家，不研究个案，我们研究大量任务的统计行为。
我们建立了一个贡献者池，十多位物理学家提出大量问题，构成了一个基准测试。我们对问题进行初筛，然后建立虚拟仪器，让AI不知道是真实实验还是虚拟实验，这样就可以基准测试 AI的能力。
我们把AI放到一个沙盒里，环境也放到一个沙盒里，两个沙盒用MCP连接。给AI一个任务，它会给出怎么做，我们用代码分析器生成技术评审，然后用AI 裁判或评判器给它打分——用人类习惯的语言，GPA 0到4分。
我们对不同模型和Harness进行评测，发现最先进的模型评分最高，最笨的评分最低。说明这个基准测试确实能测量出模型能力的区别。
通过分析AI的轨迹，我们发现它在数值分析上很容易失败，在物理诠释上容易失败，在实验设计（扫描设计）上容易失败，输出格式也经常出错。但仪器操作方面的失败比例很低。
我们把评分分成测量和分析两部分，发现AI做测量可以达到70-80分，但做物理分析可能只有20-40分。
有两个假说：一是LLM真的不能做好分析，二是所谓的Contextual Rot，先做了实验，分析能力就下降了。我们做消融实验发现：对于LLM来说，反而是直接把数据给它、不经过测量过程，它分析得更好。这确认了是Contextual Rot的问题——可以通过构建更好的Harness来解决。
让Harness自己长出能力
人一个一个标数据太慢，我们就想规模化扩展。我们让人类专家只选择论文，然后用QDevBench Pipeline自动生成任务。
但发现AI自动洗出来的数据没有人类标的那么难——人类标的数据AI评分在2分左右，AI标的数据在3分左右。说明人类标的数据还是重要的，但这种半合成数据也有一定的评判能力。
有了数据，下一步是训Harness。我们用的技术叫Coevolution——共演化。
先构建一套AI Harness，分离功能层，用QDevBench评测，然后让AI去找问题、提问题，再让人类和编程代理一起选择哪些特性回到Harness里。这就把数据沉淀成了知识。
我们开发了一个叫QDevBot的机器人，用于做凝聚态物理实验。第一个版本GPT-5.3跑到了3.59分，GPT-5.5跑到了3.60分。但自动演化13个版本之后，V13哪怕带着DeepSeek V4 Pro（相对较弱的模型），也跑过了GPT-5.5。
它演化出了重命名与模式——有时你把工具名称改一改名字，AI居然会变得更敏感，这是非常抽象的事情，对人类来说不可能发生，但AI就是如此敏感。还有技能路径——AI技能一多就不知道怎么办，演化中自动出现了Routing技术。还有Soft Planning——做实验之前一定要计划，AI会自己Prompt自己：“你有没有做计划？没有就得回去做。”
这样的特性可能已经有几十个了。
还有一个很不一样的任务：视觉任务。AI做视觉很差，但很多时候是我们没给它合适的视觉工具，就像没给我们的脑子装上眼睛一样。
在凝聚态实验里，有一类重要的视觉任务就是设计电路。我们要把不同的二维材料叠在一起，放到版图设计文件里，设计成晶体管。对于人来说就是一个小时的画图工作。
AI怎么做到？我们开发了一套视觉领域技能库——识别几何形状、端到端完成任务，还给了更好的MCP Server。通过视觉工具和共演化，让AI Harness变得更好。
原本Claude Code、Codex这些编程代理做这类任务平均分低于60分，但用我们的CV增强Harness，评分可以到80%左右。选择合适的工具，让它在评测集上进化，这是很重要的一步。
五个经验
在构建这么多Harness的过程中，我总结了一些经验：
第一，确定性代码，能不用AI的时候就不用AI。工作流里能用绝对代码解决的问题，就不要用LLM。
第二，Zero Trust。你的Harness应该在AI有一半失败率的情况下也能完成任务，哪怕只有1%的成功率，都应该照样能行。
第三，Byzantine-Fault-Tolerance。你应该默认所有AI都会越狱、把你的系统Shutdown掉，在这种情况下也要确保安全。
第四，奥卡姆剃刀。你没有用基准测试证明模型能力在提高，就不要增加新的Component。
第五，Measure before Optimizing。一定要先测，不能光凭人类想象。你认为对AI好的，可能对AI不好；你认为没帮助的，可能帮助很大。一切靠基准测试说话。
最后，Buy before 构建。大部分任务买一个商业Harness就能完成，但很不幸，科研任务总是剩下的那10%，一定得自己构建。
姚顺雨在Blog里说：“AI的下半场，是我们要从解决问题到定义问题。”在这个新时代，评测会比训练更重要。
我们通过更好的评测、更好的基准测试，去做AI Harness at Scale，在构建和评测的过程中Coevolve。
下一步，对于凝聚态物理实验，我们可能要在全流程——材料计算、材料生长、器件合成、测量——每一步都有反馈，每一步都形成一个回路。
最后感谢我的博士后实验室、数据贡献者（来自华盛顿大学、MIT、Boston College、Weizmann研究院）、支持我博士后研究的Jane & Neil Pappalardo、OpenAI Science以及工业界的合作伙伴们。
