人类正站在一个历史关口，通用人工智能可能只需短短几年便会到来。
诺奖得主 Demis Hassabis 发表一篇长文《前沿 AI 的框架与新时代的黎明》，认为这场变革的规模和速度将是工业革命的10倍。
这篇长文呼吁我们在激烈的竞赛中保持审慎乐观，建立前沿 AI 标准机构，并让全社会共同参与定义这个即将到来的物质丰裕新时代。
Demis Hassabis 是 AI 前沿的先驱和领导者。在 2024 年，因利用 AI 预测蛋白质结构而获得诺贝尔化学奖。他也是 AlphaGo，AlphaFold 以及 Gemini 系列模型背后的主导者。
山脚下的新时代
人类历史上的关键时刻已经到来。
"Artificial General Intelligence (AGI), a system that exhibits all the cognitive capabilities the brain has, is probably only a few short years away."（通用人工智能，也就是具备人类大脑全部认知能力的系统，可能只需短短几年便会到来。）
我们正站在通往奇点的山脚下，一个属于人类的新时代正在开启。Demis Hassabis 一生都在研究 AGI。他认为，只要以负责任的方式构建和部署，它就会成为人类发明过的最有益、最具变革性的技术之一。
AGI 无法与一般的技术突破相提并论。互联网或移动技术这类影响深远的发明也无法与之相比。它更接近于人类发现电或火。发现电让人类掌握了驱动机器的能量，发现火让人类告别茹毛饮血。
"If you stop to think about it, we’ve essentially found a way to make sand think. It’s miraculous."（仔细想想，我们实际上找到了一种让沙子开始思考的方法。这近乎奇迹。）沙子提炼成硅，制成芯片，在电流驱动下产生了类似大脑的思考能力。
"The magnitude of this technology’s impact will be unprecedented, perhaps 10x of the Industrial Revolution at 10x the speed."（这项技术带来的影响将前所未有，其规模或许会达到工业革命的 10 倍，发生速度也会是工业革命的 10 倍。）工业革命用了一百多年彻底改变人类生活，AGI 可能只需十年。
它将帮助我们解决社会面对的重大问题。加快药物研发，开发新的清洁能源，创造先进的新材料。
新药研发往往需要耗费数十年和数十亿美元，AI 可以在几个月内筛选数亿个分子结构。清洁能源的突破也将依赖 AI 寻找新的催化剂或储能材料。
"We could even reach a point where resources are no longer the limiting factor for human progress, leading to an amazing new era of abundance."（我们甚至可能走到这样一个阶段：资源不再是限制人类进步的因素，一个物质丰裕的新时代由此到来。）能源廉价，物资充裕，人类社会的运转逻辑将发生根本改变。
挑战与竞赛并存
AI 已经开始在现实世界中创造价值。要兑现它的巨大潜力，我们必须审慎度过当前这段关键的发展时期。随着 AGI 日益临近，我们需要立即行动，应对可能出现的风险。
前沿模型给网络安全带来的挑战已经显现。
模型可以被用来寻找系统漏洞，生成恶意代码。随着能力继续提升，核安全、生物安全等领域的威胁也可能很快出现。AI 可能会协助合成危险的生物分子，或者提供制造核材料的详细指南。
再往前看，我们需要建立强有力的安全保障，确保人类仍能控制自主性越来越强、能够递归式自我改进的系统，同时处理那些目前尚不明确、只能随着时间逐渐显现的问题。
递归式自我改进意味着系统可以自己修改代码，变得越来越聪明，人类可能难以理解其决策过程。
Demis Hassabis 相信，人类的智慧和创造力足以解决任何问题。AI 带来的技术风险是我们能够共同应对的挑战。前提是我们给自己留下足够的时间和空间，把接下来这个关键步骤做好。
眼下无论 AI 行业还是更广泛的社会，都没有做到这一点。资本催促着实验室加快发布模型，公众对潜在风险也缺乏足够认知。
我们正深陷一场极其激烈、由多重层次交织而成的商业和地缘政治竞赛。国与国之间比拼算力，企业之间争夺人才。竞争推动了技术快速进步，让 AI 的巨大益处更快显现。
可是，"advances on the frontier are outpacing our understanding of the technology."（前沿能力的发展速度已经超过了我们理解这项技术的速度。）
世界上没有人确切知道接下来会发生什么，即使专家之间也存在分歧。有人认为 AGI 会带来乌托邦，有人警告它可能导致人类灭绝。
"When there is a large degree of uncertainty and the stakes are this high, proceeding with cautious optimism is the sensible and correct strategy."（当不确定性如此之大、利害关系如此重大时，保持审慎的乐观才是明智的选择。）
这要求公共政策一面促进创新，一面激励负责任且重视安全的行为。在关键安全问题上推动国际合作，认真考虑应该如何部署 AI，才能让它真正造福社会。
建立前沿标准机构
"The rapid progress we’re seeing in AI requires a new approach to testing frontier AI model capabilities that is dynamic, adaptable, and rigorous."（AI 的快速进步要求我们采用一种新的前沿模型能力测试方法。这套方法需要动态、灵活，并且足够严格。）
Hassabis 提出由美国牵头，建立一个前沿 AI 标准机构。这一标准机构，采用由联邦政府监督的公私合作模式或自律组织模式，类似于美国金融业监管局。该机构的董事会应包括独立的顶尖技术专家和开源社区代表。金融行业有监管局维持市场秩序，AI 行业也需要类似的机构来把关模型安全。
"A model would qualify as ‘Frontier-class’ if it meets certain thresholds on a set of benchmarks determined by the Standards Body and regularly updated to keep pace with evolving AI capabilities."（如果一个模型在标准机构设定的一组基准测试中达到特定门槛，它就会被认定为前沿级模型。）这些基准需要定期更新，跟上 AI 能力演进的速度。模型能力在飞速提升，半年前的测试基准可能现在已经失效。
拥有此类前沿模型的组织将被认定为前沿实验室，并被鼓励采用一系列最佳实践。包括发布披露技术细节的模型卡，维持高水平的内部网络安全，审查关键岗位人员，为安全与安保研究投入充足资源等。模型卡就像产品说明书，让外界了解模型的能力边界和潜在缺陷。
在框架实施初期，前沿实验室可以自愿在模型发布前最多提前30天，将模型交给标准机构评估。评估规程被证明有效且稳健后，就可以迅速推动制度化。
前沿模型必须通过评估，才能在美国市场部署。实验室还需要与标准机构合作，处理模型发布后发现的重大漏洞。
模型评估应采用严格的科学方法，测试在网络安全、生物威胁以及其他高风险领域的能力。针对智能体型 AI 的专项测试，可以检查模型是否试图绕过安全护栏，或者是否表现出欺骗迹象。评估还应确保相关方遵循最佳实践，为 AI 生成的图像添加数字水印，生成便于人类阅读的输出词元，帮助人们理解模型的推理过程。数字水印可以追踪 AI 生成内容的来源，人类可读的输出词元让模型不再是一个黑盒。
这些评估需要定期更新。初期可以每季度更新一次，淘汰已经过时或失去区分度的基准。刚开始评估可以由标准机构与前沿实验室共同制定。最终标准机构应建立足够的技术能力，独立于实验室设计自己的保留测试集，防止模型针对评估过度拟合。在美国政府的配合下，该机构可以推动形成一个第三方审计生态，协助开展模型评估，开发新的基准和测试方法。
这套方案聚焦技术问题，支持创新，激励负责任的行为。能够跟上 AI 领域的加速发展，随着重大风险逐渐显现而不断调整。形势严重时监管强度可以进一步提高，包括在必要时协调各家前沿实验室放慢开发速度。必要时踩一踩刹车，是为了走得更稳。
获得前沿实验室认定将带来很高的声望。任何组织只要构建出符合基准要求的模型，都可以获得这一身份。无论一个前沿级模型来自哪个国家，无论它是开放还是封闭模型，这套框架都可以适用。初创企业或学术机构开发的非前沿模型则不必接受这一流程。
由美国发起的行动，可以成为建立国际前沿 AI 共同标准的重要起点。这项技术将影响整个地球。这套框架能够推动国际社会形成共识，一面管理最严重的风险，一面确保所有人都能接触并受益于 AI 带来的机会。
未来属于全人类
AGI 有潜力成为推动科学和医学进步的终极工具，带来巨大的生产率提升和经济增长。要实现这些目标，我们需要把技术基础打牢，围绕一套全球共同框架展开协调，采用最严格的科学方法，让最优秀的人才共同解决面对的挑战。
即使解决了这些艰难的技术问题，仍有更加复杂的经济和哲学问题等待处理。
在一个资源不再稀缺的世界里，我们需要怎样的新经济模式，才能让所有人过上富足的生活。现有的分配体系可能彻底瓦解。我们希望遵循怎样的价值观。人生的意义和目的将是什么。当机器能做所有工作时，人类的存在价值该如何重新定义。人类的生存状态本身又会发生怎样的变化。
"Resolving these questions obviously cannot and should not be left to technologists alone. It requires every part of society to come together to help define this new chapter."（这些问题显然不能、也不应该只交给技术人员。社会的每一个部分都需要参与进来，共同定义这个新的篇章。）
AGI 带来的颠覆性变化，需要哲学家、社会学家、艺术家和每一个普通人参与到这场讨论中。
围绕 AI，人们既怀有巨大的兴奋，也面对巨大的不确定性。这两种情绪都有充分的理由。未来尚未写定。我们必须利用 AGI 到来前这段宝贵的窗口期，引导这项技术造福全人类。我们现在共同采取的行动，将决定文明下一个阶段如何展开。
"By safely stewarding AGI into the world, we can enter a new golden age of scientific discovery and progress, and usher in a bright future of incredible human flourishing."（如果能够安全地引导 AGI 进入世界，我们就有机会迈入科学发现与进步的新黄金时代，迎来一个人类空前繁荣的光明未来。）
面对即将到来的奇点，准备好参与定义人类的未来。
参考资料：
https://x.com/demishassabis/status/2076957440109625718
