AI语言模型能否重现爱因斯坦式科学突破

原文作者：Philip Ball

1915年，阿尔伯特·爱因斯坦（Albert Einstein）提出了广义相对论，改变了我们对物理世界基本结构的认识。这一理论将引力解释为质量造成的时空形变，是现代物理学的一大高峰，支撑着从黑洞研究到引力波测量的宇宙学领域，并常规用于引导太空任务和GPS卫星。

它还是人工智能技术领域的一把标尺——领军人物们正在思考，他们创造的AI是否有朝一日能取得这个级别的突破。今年2月，在新德里举行的印度人工智能峰会（India AI Summit）上，谷歌DeepMind（Google DeepMind）的联合创始人Demis Hassabis提议，用特定截止日期之前的全部已知知识训练一个大语言模型（LLM）——他建议以1911年为截止年份——看它能否重现广义相对论。“这将是检验AGI的一个好测试。”Hassabis说。他所指的是通用人工智能（AGI）这一模糊概念，AI行业众人追逐的目标之一。

这类测试不一定要涉及广义相对论。2024年12月，美国非营利组织Truthful AI的研究员Owain Evans做了一场关于“复古”或“历史”大语言模型的报告，这类模型只用截至某一日期的历史数据进行训练。Evans提出的问题是：这样的模型有可能重新发现什么？

今年，已有多个团队构建了复古模型，包括一项对Hassabis测试尝试。但这些初步尝试更多揭示的是当前AI的局限而非长处。

以色列理工学院量子光学专家Ido Kaminer表示，类似相对论的突破对AI不是遥不可及的。他合作撰写了一篇题为“AI能否追随爱因斯坦的脚步？（Can AI follow in Einstein’s footsteps？）”的预印本论文已于7月发布[1]。

但他和同事认为，如果不重新思考当今模型赖以构建的一些原则，这样的突破就不会发生。

Hassabis去年在接受媒体采访时用“爱因斯坦测试”作了比方，而谷歌DeepMind的另一位研究员Tom Zahavy则在今年1月的一篇论文中对其进行了详述。这篇题为“LLM不能跳跃”（LLMs can’t jump）的论文强调，目前的大语言模型无法像爱因斯坦那样实现推理上的跳跃。

Zahavy写道，正如科学哲学家早已认识到的，这类进展需要的不是从数据或实例的积累中推导出普遍规律的归纳推理，而是溯因推理：“为个别现象发明原因的创造性跳跃”。

现在的AI模型不擅此道。比起变革性发现，它们似乎更适合承担科学研究中的繁重基础工作。它们先用已知样本进行训练，在海量数据集中寻找相关性，再在提示词的引导下，为未知情形给出统计上可能性更高的答案。

这使它们成为有价值的预测工具，在数据充沛时能派上用场。然而，想象力的飞跃——或20世纪科学史家托马斯·库恩（Thomas Kuhn）所称认识上的“范式转换”——往往出现在没多少数据可资参照时，或产生于不太吻合标准场景的反常情况。

在这种情况下，科学家通常的做法是根据少量数据建立一个“世界模型”：对潜在原理的某种推断。例如，17世纪天文学家约翰内斯·开普勒（Johannes Kepler）对行星运动的细致观测及其推导的数学关系，促使艾萨克·牛顿（Isaac Newton）提出了引力定律，以及描述物体受力运动的力学运动定律。

AI模型能否以类似方式从稀疏数据推理出一般性世界模型？美国麻省理工学院（MIT）计算机科学家Sendhil Mullainathan认为，目前还不能。在7月发表的一篇会议论文2中，他和同事向一个“轨道力学”基础模型提供了多种遵循牛顿力学的行星系统的合成数据。

他们发现，该模型始终未能推断出真正的引力定律（即两个物体之间的作用力与其质量及间距之间的关系），而是为每个行星系统推出一条不同的定律，每条错得都不一样。

尽管如此，大语言模型在数学领域取得了引人注目的进展，暗示着它们有时能够直觉地把握训练数据背后的逻辑结构。Mullainathan说，今年5月，OpenAI公司开发的一款AI聊天机器人推翻了匈牙利数学家Paul Erdős提出的一个已有80年历史的猜想，是一项“真正的概念性进展”。

他说，这个AI的答案不是靠蛮力搜索得来的；求解过程中还需要一些新的、小型的抽象工作。但与此同时，这一反证确实整合了数学文献中已有的思路——因此从这个意义上说，它并不是那种仿佛凭空生出的爱因斯坦式灵光乍现。

在Hassabis提出1911年测试后，美国旧金山的独立AI研究员Michael Hla进行了类似的尝试。Hla在3月发布于个人网站的文章中表示，他用1900年以前的数据训练了一个名为Machina Mirabilis的大语言模型，看它能否得出量子力学、爱因斯坦的狭义相对论（1905年）以及广义相对论。

Hla给了模型一些有用提示：在一个例子中，他向模型输入了关于光电效应（光将电子从金属板上击出的现象）的观测结果，这一效应后来由爱因斯坦的光量子假说解释。在另一个例子中，他向模型提供了“电梯”思想实验的核心内容，正是这一思想实验后来引导爱因斯坦提出了广义相对论。

Hla认为，在某些情况下，该模型展现出了“直觉的闪光”。例如，在面对光电效应时，它表示光“分解为大量离散的脉冲”（暗示了光量子的概念）。但Hla写道，这个大语言模型大多数情况下都过不了关，它不理解自己举出的物理学，有时只是在“鹦鹉学舌地说些乍看有理的词”，似乎没有“任何有力的世界内部表征”以供推理。

Hla还发现，数据中充斥着不规范的英语以及印刷材料数字化造成的失真，会让训练一个历史约束性大语言模型变得非常困难。

独立计算机科学家Nick Levine和同事4月在线发布的研究（见go.nature.com/4ilz5sp）中也有同样的发现。他们尝试仅用至1930年的已知知识构建一个复古AI模型——选择这一年份是因为该年出版的作品已于2026年初在美国进入公有领域。

Levine表示，利用这样的模型，原则上“我们可以尝试检验1930年代发展起来的事物相关的问题”，例如图灵机（计算理论的核心概念）、数学基础领域的哥德尔不完备性定理，或被称为中微子的粒子（1934年首次在出版物中提出）。

Levine和同事发现，很难构建一个只使用截至1930年已知知识的复古模型，因为训练材料千疮百孔。Levine说：“如果你问它20世纪50年代发生了什么，它往往会说漏嘴。”——还常常答对。例如，这个本应只掌握1930年以前知识的模型，回答了有关富兰克林·D·罗斯福（Franklin D. Roosevelt）政府的问题，后者任期为1933年至1945年。当数据集的日期标注模糊或不准确时，很难筛除某一日期之后的信息。

尽管如此，Levine（曾任经济学领域的量化预测员）认为，以后应该能够让这个“1930年心智”进行预测，可能包括“你在预测市场中会看到的那些东西”。

他说，预测型AI模型也可以用于预测科学发现。他打算检验，一个比方说截至今年1月的数据训练的模型，能否得出一项现已知于6月做出的发现。“我预测，仅因涉及数据和资源的规模，[这类]模型即可做出些不寻常的发现。”

瑞士苏黎世大学的研究人员在一个名为Ranke-4B的项目中创建了一整个历史模型家族（见go.nature.com/46efotz）。这些模型用带时间戳的文本进行训练，截止年份分别为1913、1929、1933、1939和1946年，均为有历史意义的节点。团队成员、现就职于苏黎世联邦理工学院（ETH）的经济学家Daniel Göttlich说，目前没有足够的历史数据或计算资源，能让这些模型达到现代LLM的水平，因此他希望只检验模型能否产生那些带有未来进展痕迹的构想。“打个比方，我们检测的不是天才，只是天才的火花。”他说。

麻省理工学院的计算机科学家Jacob Andreas认为，AI语言模型产生像广义相对论这样的理论，在针对给定数据的众多（虚假）理论中作为一个概率性输出结果，并无明显的障碍。

他说，问题在于很难区分哪些理论是正确的，或至少值得检验，哪些又是错误的。Mullainathan及其同事的轨道力学模型生成的各种（错误的）“引力定律”就是如此。相比之下，在数学领域，立即验证LLM每一步的对错是可能的。

这反映出大语言模型与人类构建理论方式的差异：人们很少以概率方式构建一系列可能的理论，再去寻找其中哪一个是正确的（如果有的话）。

例如，想想一个世纪前物理学家埃尔温·薛定谔（Erwin Schrödinger）写下量子波动力学方程的情形——即使到了今天，研究人员还在琢磨他当时的思维过程。

Andreas说：“几乎可以肯定的是，他的思维过程并不是先随机生成一堆像理论似的说法，再去检查哪些与实际观测相符。”

还有要判断一个想法是否值得一探的问题。Andreas说，例如，LLM“对什么是有趣的数学定理没有很好的概念”。他补充说，模型辨别何者重要的能力，“实际上正是与人类专家的一大差距”。

科学认识上的变革性转变往往源于对细微差异的关注，这类“离群值”恰是AI模型倾向于平均掉的。Kaminer和同事说，“在物理学中，人类的发现历来往往有赖于一种持久‘执念’的能力——这种认知方式使研究人员经年坚持一个离群的想法。”

以物理学家马克斯·普朗克（Max Planck）为例，他不肯接受自己的黑体辐射公式所给出的结果已经与实验测得的光谱“足够接近”。这种执着，促使他在1900年提出了能量量子化的假设（Hla的Machina Mirabilis也考察过这一问题）。可以说，狭义相对论的经验动机甚至更少——与普遍看法相反，爱因斯坦并没有因为实验未能探测到假想的“以太”（人们曾认为光通过这种介质传播）而太受困扰。

更普遍地说，科学突破很少仅从既定经验数据中自然得出：它们来自理论或概念、实验与实验技术之间持续而微妙的相互作用。在分子生物学等学科中尤其如此，因为与物理学的大部分领域不同，这些学科并不受一小组明确界定的基本定律支配。

考虑到这一点，一些研究人员正在开发自动化系统，这些系统能够选择和规划实验、以机器人方式开展实验，并根据结果提出假设[3,4]。

但即便在这方面，进展有时也来自思维方式的转变，而非新的关键数据。例如，人们曾以为内在无序蛋白结晶性太差，无法进行X射线分析，直到研究人员意识到这类蛋白本身就没有稳定的结构，并开始将无序视为一种特性而非问题。又如，如今被称为生物分子凝聚体的现象——细胞中的液滴状聚集体——在概念提出之前几十年就被观察到了，但一直未受重视。

AI能否模仿这种信念、推理或感知上的飞跃？Andreas说，这一挑战“可能更像是要弄清楚如何将这类无意识的、难以言喻的直觉飞跃自动化，而非执行我们已经知道如何实现的经典搜索程序”。

Mullainathan说，“大语言模型本身并不是这类任务的合适对象”。他认为，所需模型不仅要用知识语料库，还需要真实世界的数据（即物理世界是什么样的）以及“数学空间”（即如何操作数学对象）来训练。他说，这些方面“在当前时代尚属滞后”。

AI发现系统还需要新的性能目标，而不仅仅是做出良好的统计预测。Kaminer说，要让它们做出相对论级别的发现，“不只要针对预测准确性来优化，还要奖赏简洁性、解释力等更多方面”。

目前似乎还没有太多动力去创造更像人类那样推理的AI模型。加拿大阿尔伯塔大学的计算机科学家Rich Sutton称之为“AI的苦涩教训”：“把我们以为的人类思考方式植入系统，从长远来看行不通。”真正能影响算法性能的，往往只是更多的计算能力和训练数据。这类AI模型的价值通常视为它们能否做出良好、快速且准确的预测，而不一定需要揭示现象背后的物理过程。（例如，谷歌DeepMind的蛋白质结构工具AlphaFold并没有解决理解蛋白质如何折叠的问题，而只是通过预测其折叠后的形状绕开了这一问题。）

Andreas猜测，至少在初期，大语言模型只会做出非常有限的发现，针对“我们已经清楚重要问题所在”的情形，其答案在于“借用别处已存在的解决方案或作类比”。

他说，到那时，人类研究者可能会想：“可恶，当初就该在那个领域再读个博士，那我就会发现这个了。”

不过，没人觉得广义相对论也会这么出现。Andreas说：“他们只会想，这到底是怎么想出来的？”