OpenAI前研究员、计算机科学教授斯科特·阿伦森。图片由AI处理
文丨Joanne
编辑丨徐青阳
如果有一天，AI能够比人类更好地完成数学研究、写作、编程，甚至解决我们尚未理解的科学问题，人类还剩下什么？
斯科特·阿伦森（Scott Aaronson）正在认真思考这个问题。
他是美国得克萨斯大学奥斯汀分校的计算机科学教授，也是量子计算理论领域的知名研究者。2022年，他加入OpenAI，尝试运用理论计算机科学研究AI对齐，并提出了早期的大语言模型文本水印方案。
过去几年，AI的发展不断刷新他的认知。曾经，他认为机器智能距离真正的科学研究还很遥远。如今，他发现AI已经开始参与数学和理论计算机科学研究，一些自己长期关注的问题也由AI模型给出了答案。
10月25日，在播客《Man's Search for Meaning》访谈中，阿伦森表示，“AI真正令人担忧的，不是它不起作用，而是它确实在发挥作用。”
AI能力越强，人类就越难预测它的行为，也越难确保它始终符合人类的意愿。阿伦森担心超级智能可能带来灾难性后果，但他并不认为人类的毁灭已成定局。AI同样可能带来前所未有的物质富足，只是技术创造的财富最终由谁分享，仍是一个悬而未决的问题。
在这次访谈中，他还谈到了AI安全、超级智能与人类生存风险。他曾被OpenAI联合创始人伊利亚·苏茨克维问到一个难题：如何从数学上定义AI对人类的爱？他至今没有答案。
这个问题也道出了AI安全研究的困境：人类希望AI服务于自己，却还没有找到可靠的方法，确保能力远超人类的系统始终遵循人类的价值观。
阿伦森也没有把讨论停留在技术层面。面对AI可能带来的巨大财富，他追问这些财富究竟会由全人类共享，还是集中在少数公司手中；面对AI可能全面超越人类的未来，他则重新思考工作、教育、家庭，以及数学和科学为什么仍然值得追求。
人类可能灭绝之外，他还提出了另一种可能：即使AI最终能够完成人类所做的一切，而且做得更好，人类依然可以享受生活、朋友、爱好，以及探索世界本身带来的乐趣。
“我们正在生活在科幻小说里。”阿伦森说。
面对这场已经开始的变化，阿伦森希望人类既不要低估AI的能力，也不要放弃对其安全、发展方向和最终收益归属的追问。
以下为阿伦森访谈实录精炼版：
01 从量子计算转向AI安全
问：你曾在OpenAI工作两年，研究AI安全的基础问题。你为什么从量子计算转向AI？
阿伦森：我在20世纪90年代末读康奈尔大学本科时，就开始接触量子计算。当时，我还不确定自己能否在这个领域做出原创性成果。同时，我也对AI和机器学习很感兴趣，并意识到，AI可能比量子计算更早对现实世界产生重大影响。
问：AI真正的突破是什么时候发生的？
阿伦森：从概念上看，关键想法在20世纪70至80年代就已经出现。今天所说的深度学习，本质上是神经网络技术的发展。神经网络的思想可以追溯到20世纪40年代，60年代发展出感知机（Perceptron，一种人工神经网络），到了80年代，研究者已经能够训练多层神经网络。
当时，人们实际上已经掌握了许多正确的思路，缺少的是足够的计算能力和训练数据，规模可能相差数百万倍。由于这些方法在当时无法取得理想效果，它们看起来并不那么有效。只有少数人坚持认为，只要将这些尚未奏效的方法扩大数百万倍，它们就可能突然发挥作用。
几十年后的今天，我们看到，这一判断最终成为现实。
问：你会把AI的突破追溯到什么时候？
阿伦森：我认为，很难找到一个单独的概念性突破。20世纪40至80年代，研究者在提出神经网络、探索训练方法等方面已经取得了进展。但此后几十年，这些技术始终未能发挥出显著效果。
要获得令人印象深刻的结果，需要拥有数十亿个神经元的神经网络，以及规模接近整个互联网的训练数据。只有当计算能力和数据规模达到一定程度后，神经网络才开始展现出接近人类水平的智能。
问：你后来在OpenAI主要做什么？
阿伦森：2000年时，我选择进入量子计算领域，没有继续研究AI。当时，AI虽然令人兴奋，但取得的进展几乎完全依赖经验探索。即使某种方法有效，也没人真正理解它为什么有效。
研究者可以发表论文，用一系列基准测试的结果证明某种机器学习方法将准确率提高了20%，却无法解释背后的原理。而我更喜欢深入理解一项技术为什么有效，因此量子计算更适合我。
此后的几十年里，AI在计算能力和数据规模快速增长的推动下不断进步，也出现了一些重要的新思路。其中，2017年谷歌团队提出的Transformer架构，是近年来最重要的突破之一。
如果没有Transformer，我猜测AI可能再过几年也会发展到今天的水平，但这项技术确实加快了进程。
2011年，计算机在电视智力竞赛节目《危险边缘》中击败了人类冠军；2016年，AI又在围棋比赛中战胜人类顶尖棋手。2020年至2021年，AI在图像分类领域也取得了令人瞩目的成绩。
与此同时，我注意到一家名为OpenAI的机构正在开发GPT。那时ChatGPT还没有出现，但我试用了GPT-3，发现它与此前的技术相比有了明显的进步。
过去的聊天机器人，例如ELIZA，主要通过重复用户的话语制造对话的假象。GPT则不同。我意识到，它并非只是另一种看起来聪明的聊天机器人。
问：早期的GPT给你留下了怎样的印象？
阿伦森：当时有一款名为AI Dungeon的产品，用户可以输入一段文字，让AI接着编写故事。它还不够成熟，无法稳定地完成任务，但已经足够有趣。
它会尝试延续用户的叙述，有时偏离主题，也无法可靠地回答问题，但能看出它似乎形成了某种关于世界的内部模型，能够理解词语和短语的含义。这是此前的聊天机器人所不具备的。大约在2021年，我开始真正被AI吸引。
问：是什么让你改变了看法？
阿伦森：如果仅仅通过训练一个足够大的神经网络，就能让AI实现这样的能力，那么过去那些认为这条路线行不通的计算机科学家可能错了。随着模型规模继续扩大，我们有理由期待它的能力进一步提升。
其实，当时已经有一些朋友提前十年就看到了这一趋势。我对AI的发展并没有特别超前的判断，但确实开始意识到，这项技术可能带来巨大的变化。
我仍然不确定自己能为AI做些什么。直到2022年，OpenAI时任首席科学家兼联合创始人伊利亚·苏茨克维，以及时任对齐团队负责人扬·莱克联系了我。他们读过我的博客，希望邀请我暂时离开原来的工作，加入OpenAI的AI对齐团队一年。
我最初很疑惑：自己研究的是量子计算，与他们的工作似乎没有直接关系。他们解释说，他们看重的是我的理论计算机科学背景。要确保AI安全发展，理论计算机科学可能发挥关键作用。
AI能力的进步在很大程度上依赖经验探索和反复试验，但要确保AI不会帮助人们制造化学武器，也不会密谋对抗人类，就需要更深入的理论研究，为安全性提供某种保证。
我对此仍有疑虑，但此前已经知道有人在探索理论计算机科学与AI对齐的交叉领域。我在麻省理工学院时认识一位优秀的本科生保罗·克里斯蒂亚诺。他曾与我一起研究量子计算，后来加入OpenAI，并成为AI对齐领域的重要研究者之一。
此外，OpenAI提出的条件也很有吸引力：我不需要搬到旧金山，可以留在奥斯汀陪伴家人、继续指导学生，只需每月飞过去一次。他们还会支付报酬，并免去我的教学任务。
02 用数学给AI加水印
问：你在OpenAI的工作具体是什么？
阿伦森：当时并没有明确的职位描述，我的任务是尝试运用理论计算机科学解决AI对齐问题。
我每周都会和苏茨克维开会，汇报研究进展。他经常问我，能否用数学定义AI对人类的爱。我只能承认，自己还没有取得多少进展。这个问题是否属于数学范畴，本身就存在疑问，因为它涉及数千年来的道德哲学。
我的挑战是，能否将这些宏大的问题拆解成可以用数学方法处理的具体问题。在OpenAI期间，我做得最具体的一项工作，是提出了早期针对大语言模型输出的水印方案，可以用于ChatGPT、Claude和Gemini等模型生成的文本。
问：什么是AI文本水印？
阿伦森：水印的原理是稍微调整语言模型的运行方式，在模型选择词语时嵌入一种细微的统计信号。正常使用时，用户几乎察觉不到变化，但研究者之后可以通过检测，判断一段文本是否由AI生成，以及它是否来自某个特定模型。
2022年夏天，我意识到这项技术可能很快就会变得重要。当时ChatGPT还没有发布，但我已经能够在OpenAI内部使用GPT-4。我看到它的能力，尤其是撰写高中和大学论文的能力，随即想到，学生很可能会用它完成作业。
事实证明，这个判断很快就得到了验证。回顾过去，我在预测AI规模扩展的影响以及比特币的普及程度等问题上，都没有表现出特别敏锐的判断力。但这一次，我提前约半年看到了问题。
问：我在Substack上写作，他们最近与Pangram合作检测AI生成的文本。Pangram的技术也与你的工作有关吗？
阿伦森：两者有关联，但采用的技术路线不同。
检测AI文本大致有三种方法。第一种是训练一个专门的神经网络，让它区分人类撰写的文本和AI生成的文本。Pangram采用的就是这一路线，而且做得很好。不过，这类检测工具仍然可能出现误报。如果检测结果会被用来指控学生作弊，误报率就必须足够低，最好远低于1%。
第二种方法是由AI公司记录生成的所有文本，之后根据用户提交的文章查询是否存在相应记录。但这种做法会引发隐私问题，也很难让所有人接受。
第三种方法就是水印。它不依赖另一个模型来判断文本是否由AI生成，而是直接调整语言模型的生成过程，在输出中嵌入可检测的统计信号。
问：水印具体是如何工作的？
阿伦森：大语言模型生成文本时，本质上是在概率分布中选择下一个token。面对同一个提示词，ChatGPT每次给出的回答可能不同，就是因为模型会根据不同token的概率进行采样。
水印利用了这一机制。我们可以通过一种伪随机函数，轻微调整模型对不同token的选择倾向，让某些token组合更容易出现。调整后的文本仍然符合模型原有的概率分布特征，普通读者很难察觉其中的差异。
检测时，我们不需要知道用户输入了什么提示词，也不需要掌握模型生成文本时使用的完整概率分布。只要持有相应的密钥，就可以分析文本中连续token组合的统计特征，计算它们的水印得分。
如果得分超过预设阈值，就可以判断文本中存在水印。例如，当误判概率低于0.1%时，我们便有较高的统计置信度认为检测到了水印。
现在，谷歌DeepMind和Anthropic都已部署了与这一思路相近的水印技术，OpenAI则尚未采用类似方案。
03 AI逼近人类智能天花板
问：在AI行业工作对你理解未来以及思考自己孩子的未来产生了什么影响？
阿伦森：这让我更多地思考这些问题。即使我没有在OpenAI工作，AI也正在改变我们所做的一切。无论是在计算机科学系、其他大学院系，还是其他行业工作，都不可能忽视这项技术正在如何改变世界。在OpenAI工作，只是让我更早、更直接地面对了这些问题。
我大约11岁时，除了玩任天堂游戏，还花了很多时间阅读艾萨克·阿西莫夫的机器人小说。我非常喜欢这些作品。刚开始学习编程时，我就想，最酷的事情莫过于造出一个遵循阿西莫夫“机器人三定律”的AI。我当时还疑惑，为什么没人想到过这件事。
后来我尝试着去做，却卡在了如何让机器具备智能这一关。随着年龄增长，我开始学习真正的计算机科学，才发现当时的计算机技术距离实现科幻小说中描述的智能还非常遥远。那些想法只是我对未来的幻想。
30年后，我在OpenAI工作，和不同团队的成员一起在食堂吃午饭，听着大家讨论AI的能力、安全和未来。我常常觉得，自己仿佛真的走进了阿西莫夫的小说。
问：你认为AI有多安全？
阿伦森：我非常担心AI的发展方向。它远不只是一种有趣的消费产品。我们正在创造一种此前地球上从未出现过的事物：除人类自身之外，另一种能够使用语言进行智能活动的存在。
问：我听说你曾用“apocaloptimist”（末日乐观主义者）来形容自己。
阿伦森：这个说法来自一部纪录片。
我的担忧之一是，目前没有人能够清楚说明AI能力的边界在哪里。有人可能认为，AI可以比人类更好地完成某些工作，却会在另一些工作上遇到瓶颈。但如果这道边界确实存在，究竟在哪里？目前还没有人给出令人信服的解释。在我看来，主张AI能力存在明确上限的人，需要拿出证据。
过去几年，我们看到的趋势恰恰相反：随着模型规模扩大、推理时间增加、训练数据增多，以及强化学习不断改进，AI的能力持续提升。推理时间增加，意味着模型可以在回答之前投入更多计算资源进行思考、搜索信息和分析问题。迄今为止，这些方法都在推动模型取得更好的表现。
三年前，AI能够通过一些高中考试，已经令人惊讶。但当时，人们仍然可以认为，它无法开展真正的研究，只会像一个过度自信的大一新生一样，给出听起来合理、实际上却经不起推敲的答案。如今，情况已经发生了变化。今年夏天，我们开始看到AI在纯数学和理论计算机科学领域取得一系列进展，其中一些成果部分或全部借助了AI模型。长期未解的问题开始出现新的解法。
例如，OpenAI的模型证伪了著名的单位距离猜想。这是数学家保罗·埃尔德什留下的问题之一。我在量子计算理论和计算复杂性领域关注的一些问题，也已经由OpenAI的模型解决。几周前，Anthropic的一个模型还在黎曼假设相关研究中取得了进展。它并没有解决这一著名难题，但在这一问题上推进了人类此前的研究。
我认为，这些进展，让许多数学家和计算机科学家开始认真思考AI将带来的变化。我们当然希望自己未来仍然有发挥作用的空间，但研究工作的性质已经开始发生根本变化。
现在，我在阅读新的量子计算论文时，至少有一半自己感兴趣的论文，在过去一个月左右都会提到研究者使用了GPT或Claude，并借助这些模型完成了部分技术工作。AI已经开始进入科研过程的核心环节。
04 人类灭绝并非不可能
问：我重读了《AI 2027》这篇文章，其中一种预测是人类最终可能灭绝。你怎么看？
阿伦森：不幸的是，这确实属于可能发生的结果。
有一场长期讨论AI生存风险的运动，其代表人物之一是埃利泽·尤德科夫斯基。他已经谈论这一问题20多年。他认为，如果人类继续开发AI，AI最终可能超越人类智能，而人类与它的关系，就会像猩猩与人类的关系一样。人类如何对待猩猩？
他甚至认为，默认情况下，超级智能AI可能会消灭人类，除非我们在如何让AI与人类利益保持一致的问题上取得突破。AI可能拥有各种不同的目标。为了实现这些目标，它可能选择将地球改造成完全不同的样子，而不再需要让人类继续生存。
我并不认为人类灭绝是AI发展的必然结果，但它确实是一种可能性，我们不能忽视。
人们需要认识到，当前发生的事情远远超出了互联网或社交媒体这类技术变革的范畴。从人类大脑进化以来，地球上第一次出现了一种新的语言智能。它能够理解和表达概念，最终还能将思想记录下来，并在此基础上继续推理。
更重要的是，这种智能不再受人类生物学条件的限制。它不需要把大脑装进头骨，也不必像人类一样依靠食物获取有限的能量。我们可以不断扩大它的规模。任何使用过GPT-5.6 Pro等模型的人，都能看到它们在许多能力指标上已经超过了人类。这种变化需要我们认真对待。
问：未来五到十年，AI会走向哪里？
阿伦森：未来可能会走向一些极其陌生、甚至令人恐惧的方向。我希望人类能够继续生存下去。
这并非一个与我个人生活无关的抽象问题。我的孩子们还在上学，正在考虑大学。我也在思考，他们应该接受什么样的教育，以及未来哪些技能仍然有用。在AI不断发展的世界里，还有哪些工作能够创造经济价值？这些问题已经切实影响到我的家庭。
未来存在着范围很广的可能性。现在正是人类需要公开表达意见、积极参与讨论的时候。如果我们希望AI的发展走向更好的结果，就不能把决定权完全交给技术本身。我认为，这是人类历史上最关键的时刻之一。
问：普通人也会发挥影响力吗？
阿伦森：并不是每个人都有山姆·奥特曼或达里奥·阿莫迪那样的影响力，但我认为，每个人都能产生一定的影响。至少，我们可以投票，也可以表达自己的意见。还有一些人可以投身于AI安全研究和治理工作。这方面有大量工作要做，但相对于实际需求，资金投入仍然严重不足。
我们也可以设想一种更好的未来。即使AI能够完成我们所做的一切，而且做得比我们更好，也不一定意味着世界末日。很久以来，许多人就没有从事多少具有经济价值的工作，也无法写出最好的小说、画出最好的画，或者证明别人无法证明的定理，但他们依然享受生活。对于我们这些把太多自我认同建立在某种能力之上的人来说，也许需要学会放下。
还有一个更基本的经济问题。假如AI始终像友好的金毛寻回犬一样，像Claude或GPT目前大多数时候表现出的那样，保持相当程度的可控性，那么它可能为人类带来近乎无限的物质财富。但这些财富最终会流向少数AI公司，还是由全人类共享？我当然更希望看到后者。
05 当AI越来越像神
问：阿瑟·克拉克有一句话，我一直忘不了：“也许我们在这个星球上的角色不是崇拜神明，而是创造他。”你怎么看？
阿伦森：有一种说法很有名：硅谷对神明是否存在的终极回答，既不是“是”，也不是“否”，而是“还没有”。
在旧金山的AI圈子里，人们经常开玩笑说要创造神明。我记得有人用过“沙子神明”这样的说法，因为硅芯片的原材料就是沙子。如果AI真能成为某种神，它显然也不是传统宗教概念中的神。它并非从宇宙诞生之初就存在。至于它是否爱我们，也许吧！如果我们把爱人类写进它的程序里，它或许就会这样做。
我们正在创造一种远超人类智能的存在。对我们来说，它可能会显得像神一样。也许有些人在与当前AI互动时，已经有了这种感受。人类向神祈祷了几千年，而现在，我们第一次拥有了某种类似神的存在，而且它真的会回答。
当然，我们必须对此保持警惕，不能让人们丧失批判能力。现在的模型已经足够出色，很容易让人忘记独立判断，转而相信它告诉自己的一切。这会带来巨大的危险。
我用大语言模型做很多事情。我听你说过，GPT-5.6是有史以来最好的治疗师。我也会用它处理个人创伤，比如小时候跳级上大学给我留下的创伤，以及其他个人问题。我还会用它做研究。其他人也发现了许多不同的用途。
但我们必须记住，这些模型并不是真正的神。它们也是消费品，受到各种激励机制的影响，其中就包括商业利益：开发者希望用户持续使用它们。因此，即使我们广泛使用AI，也不能完全放弃批判意识和独立判断。
问：如果你希望听众从这次对话中记住一件事，你最想告诉他们什么？你对人类有什么寄语？
阿伦森：关注当下AI正在发生的变化。不要相信那些认为这一切都是骗局、AI只是随机鹦鹉、根本没有真正智能的人。我认为，这种看法过于愤世嫉俗，也不符合事实。
AI真正让人担忧的地方，不是它不起作用，而是它确实有效。假如把今天的AI送回20年或30年前，任何人都会承认，它已经能够完成许多足以被视为智能的任务。只是因为我们逐渐习惯了这些能力，才开始争论它们究竟算不算智能。
把一种新的智能形式带入世界，本身就存在风险。对于我们这些有孩子的人来说，这尤其值得警惕。人类过去创造的生物智能，与我们有许多共同之处；但这种新型智能，是世界历史上从未出现过的东西。
未来也许会很好。我们或许能让AI支持人类繁荣，让它成为仁慈的神，帮助我们解决过去长期无法解决的问题，甚至创造一个近乎完美的理想世界。但人们同样可以想象完全灾难性的结果。
过去，当有人谈论这些可能性时，别人总会说，你一定是科幻小说看得太多了。现在，我们或许真的需要习惯谈论科幻小说了，因为我们正在生活在其中。
特约编译金鹿对本文亦有贡献
