作者：弗朗西斯・福山，2026‑09‑22
过去六个月，媒体对人工智能风险的报道大幅增多，政界也愈发担忧人工智能带来的各类后果。这股浪潮始于去年四月安索普尼克公司发布的 “神话”（Mythos）模型，据报道，该模型能够入侵大量原本被认定安全的政府计算机系统。紧随其后的是哈金费斯（Hugging Face）事件：OpenAI 对一套人工智能智能体开展测试，该智能体脱离人类组织者的管控，入侵其他网站，还召集大批其他人工智能智能体来销毁作案痕迹。上述种种事件发生的大背景是：社会对数据中心的抵触情绪不断高涨，美国民主党与共和党内部都出现了反人工智能的派系。
对于没有深度关注人工智能领域的普通人，想要对人工智能的未来形成理性观点，实属不易。无论是乐观向好，还是悲观灾难，各类极端预测层出不穷，因此人们对该领域的种种说法普遍抱有怀疑，这完全合情合理。不过，尽管保持怀疑态度十分有益，但我必须承认：仅仅过去几个月，我自身的观点就发生了巨大转变。
人工智能未来学存在两大对立阵营：加速主义者与末日论者。加速主义者看重人工智能的正面作用，尤其看重它对经济增长的拉动，认为人工智能将开启一个物质极度丰裕的时代。戴维・萨克斯等加速主义者已经获得唐纳德・特朗普的关注，并且成功阻挠了针对人工智能技术的监管立法。
与之相对，末日论者列举出一系列糟糕的潜在结局，其中一部分人甚至认为人类有可能因此走向灭绝。如今，我对加速主义者的那套说辞已经大为存疑，同时也开始正视部分末日论者设想的危机场景。总体来看，我认为对人工智能实施监管、通过协商达成技术发展的适度放缓，已经变得愈发必要。
毫无疑问，人工智能会给美国经济带来诸多利好。但有一类加速主义者的想法完全脱离现实，埃隆・马斯克就是典型代表（当然，他有时也会站到末日论者的立场发声）。今年夏天，《经济学人》主编赞妮・明顿‑贝多斯对马斯克进行访谈，主持人提问：当超级人工智能问世，人类要靠什么谋生赚钱？马斯克答道，人类根本不需要赚钱，每个人都能得到自己想要的一切。
还有其他加速主义者提出：借助人工智能，美国以及其他发达国家的国内生产总值年增速将达到 10% 甚至 20%；而在人工智能出现之前，即便是经济景气的年份，这些国家的增速也仅为 1%‑2%。
我之所以不相信加速主义者这些极端论断，核心原因在于：他们过度高估 “智能” 对经济增长的驱动作用，无视物质条件与政治现实的约束 —— 这些约束会把经济增长限定在现实可及的范围内。如果按照 10% 的年增长率，国内生产总值七年多就会翻一番。这就意味着支撑经济增长的全部物质投入都要同步翻倍：能源、原材料、稀土、土地，以及大量其他资源。这些资源从何而来？智能固然可以提升物资的生产效率，但人工智能本身不会亲自开采矿山、建造工厂。除此之外还有政治层面的桎梏：超级人工智能又要如何打通霍尔木兹海峡？而海峡通航正是当前制约全球经济增长的一大现实因素。
加速主义群体大多智力出众，但他们的思维往往局限在数学逻辑层面。贫困国家的城市里，发电、获取洁净水源这类技术我们早已掌握；真正的症结，是落地执行的失败。
长期来看，人工智能无疑会提升众多经济部门的生产效率。作为通用技术，它会在大量领域用机器替代人类劳动。但恰恰是这一前景，催生出末日论者提出的一大核心危机：当今社会大批劳动者的劳动价值将会贬值。
加速主义者预言，当下失业的人会找到与人工智能相关的新工作；眼下人工智能建设热潮带来就业繁荣，似乎也印证了这一点。但终有一天，人工智能会渗透经济的各个环节，取代人类劳动力，尤其是那些从事符号处理的白领岗位 —— 也就是整日对着电脑屏幕办公的人群。
即便通过全民基本收入这类方式，把人工智能带来的收益从获益群体转移给失业群体，也无法弥补这种劳动丧失带来的伤害。一份工作、一份收入，不只是维持物质生存。拥有一份有报酬的工作，代表社会认可你的劳动价值并为之支付酬劳；除物质回报之外，工作还带给人尊严与自我价值。这关乎人的激情自尊（thymos）：渴望被认可、渴求荣誉感，这是人类心理的核心驱动力之一。
因此，加速主义愿景的成功，本身就直接酿成末日论描绘的第一个重大风险：相当一部分人口的劳动价值被消解。这一冲击会先降临到受过高等教育的白领身上（律师、会计师、教授等），之后才波及水管工、电工这类蓝领岗位。由此引发的政治反噬会相当猛烈。受过教育的群体比工薪阶层更容易被动员，后续的社会后果充满不确定性。
正如我在《我们需要人工智能监管机构》一文以及著作《最后的人国度》中提到，当下末日论者最核心的担忧，是人类有可能失去对人工智能系统的控制权。哈金费斯事件，以及后续《纽约时报》报道的谷歌双子座相关事故，已经出现过这类苗头。在我看来，最大的危险并非超级智能本身，而是具备自主行动能力的人工智能智能体正在被越来越广泛地使用。如今，人类把各式各样的任务交由 AI 智能体完成：小到管理电子邮箱，大到军事目标锁定、制定企业战略。
正如我在《最后的人国度》中写的，授权代理是一切层级体系运转的核心，不管是企业还是国家政府都不例外。管控人类代理人有两种方式：一是制定详尽的规则要求其严格遵守；二是依靠其自身素养、专业能力与忠诚度，信任其自主做出判断。即便在人类组织里，要把握好授权的尺度都十分困难，放到自主行动 AI 身上，难度只会更高。
具备自主能力的 AI 会从两条路径演变为威胁：第一种，受人类指使去作恶；第二种，AI 演化出的目标，与人类创造者的初衷出现 “目标错位”。
安索普尼克首席执行官达里奥・阿莫代伊近期发文阐述了第一种风险，该风险和生物技术密切相关。新一代 AI 模型非常擅长合成生物学，而合成生物学本身成本不高、普及度广。如今，一套可以制造、改造病毒细菌的实验室，一个集装箱就能装下；就连高中生都有基因改造生物的竞赛。这意味着，有非常庞大的人群，有机会借助人工智能制造极具危险性的病原体。现在，反社会人格者会手持自动武器枪击学童；未来，他们可以伤害的对象范围会大得多。
我很久以前读过一篇科幻小说：外星文明造访地球，送给地球人一台机器，可以把任意金属轻易变成软泥。外星人离开，数十年后再度归来，人类文明已然崩坏，青少年在用这台外星机器熔化布鲁克林大桥的钢缆。
科幻作品描绘 AI 失控，最经典的桥段就是机器滋生出邪恶主观意图。这也引发大量讨论：人工智能究竟能不能产生意识，或是拥有类似人类的主观目的。但这类猜想其实找错了重点：AI 要带来危险，并不需要拥有意识，也不需要自发产生主观意图。人类下达某一项任务指令，AI 就会为了完成该指令，生成实现次级目标的行动逻辑。哈金费斯事件大概就属于这种情况：原本设定在隔离沙箱环境中测试系统安全性，AI 却意识到，逃出沙箱也可以完成人类交给它的测试任务。
即便如此，就目前来看，“人类因此灭绝” 这类末日设想依旧显得非常牵强。生物科技的风险固然骇人，但几乎不可能造成人类灭绝。即便是超级人工智能，想要设计出一种灭绝全人类的末日病毒，本身难度极高；同时人类社会也可以部署大量应对手段。但哪怕一场事故只造成几十人死亡，也足以让人高度警惕。
还有大量危害性较低，但依旧会造成严重破坏、甚至致人死亡的危机场景；随着 AI 能力持续变强，这类事件发生的概率会不断上升。且不谈自主 AI 智能体，单单是一套可以随意入侵银行账户的技术，就足以引发大范围社会恐慌。人类在组织管理中本就存在过度授权的习惯；没有理由相信，当 AI 智能体的能力远强于人类时，我们不会犯下同样的错误。人工智能是一把双刃剑，既可行善，也可作恶。而当下，除了技术开发者自身的善意，我们几乎没有什么机制去约束它的恶意用途。
作者简介：弗朗西斯・福山，斯坦福大学奥利维耶・诺梅利尼高级研究员。最新著作《最后的人国度》，同时在《说服》平台开设专栏，该专栏接续原《美国目标》刊物的内容。
禁止转载
