第 9657 篇深度好文：6268 字 | 16 分钟阅读
AI的自进化，开始了。
最近，Anthropic发布了一篇让整个AI圈陷入沉默的长文：When AI builds itself（当AI开始造AI）。文中写道：“我们的内部数据显示，Claude正在加速AI发展，这可能是一条递归自我提升（RSI）的路径。”
这并非危言耸听，Anthropic是实打实地用数据在说话——如今Anthropic代码库里超过80%的代码，都是Claude写的。
在Claude Code发布之前，这个数字还只是个位数。工程师人均代码产出较2024年暴涨8倍，许多研究员已经5个月，没有手写过一行代码。
最开放的工程难题上，Claude成功率半年从26%飙到76%，已经有不少工程师觉得，Claude写的代码质量和人类打平了，预计年内会超过。
Anthropic还强调，如果这个趋势持续下去，AI自己设计和构建下一代AI，是完全可能的。因此，Anthropic带头呼吁：我们愿意减速，甚至暂停。
《驯服AI》作者盖瑞·马库斯，纽约大学认知科学教授，硅谷圈里出了名的“刺头”——他曾在美国参议院听证会上质疑OpenAI的CEO山姆·奥尔特曼，也敢公开说“我们正在构建一种错误的、令我们无法信任的人工智能”。
两件事放在一起，构成了一个奇特的对位：一边是AI加速自我迭代的现实数据，另一边是一个研究AI几十年的科学家持续发出的警报。
这本书值得认真读。不是因为它够悲观，而是因为它够具体。
马库斯讲了一个你可能也碰到过的场景。
有人问一个大语言模型：“1千克砖块和2千克羽毛，哪个更重？”答案是：两者重量相同。然后它花了整整三段话，引经据典地解释为什么在真空中两者一样重、在空气中羽毛反而更轻——逻辑严密，语气自信，错得彻底。
马库斯用哲学家哈里·法兰克福的话来描述这种现象：“说谎者在意真相并试图掩盖，而胡扯者根本不在乎所言是真是假。”他的结论是：ChatGPT正是这样一个胡扯者，在那儿一本正经地胡说八道。
行业里把这种现象叫作“幻觉”（hallucination）。这个词在2023年被Dictionary.com评为年度词汇。但马库斯不满足于这个轻描淡写的标签。
他举了另一个例子：谷歌的大语言模型Bard发布时，有人让它介绍马库斯本人。它生成了一段听起来很像样的传记，里面捏造了引文、弄错了书名，还把根本没发生过的事说得有鼻子有眼。
几个月后，另一个人让ChatGPT介绍马库斯，这次说他的研究灵感来自他养的一只叫亨丽埃塔的宠物鸡，而马库斯从来没养过鸡。
这不是偶发的bug，而是系统性的特征。大语言模型的本质是统计拼贴——它记录词语之间的统计关系，却不理解这些词语背后的事实。它无法区分真实和虚构，不知道如何核验，也不会在没有把握时表达不确定。
斯坦福大学的一项研究发现，在法律领域，前沿大语言模型的幻觉率介于69%到88%之间。你没看错，是近七到九成的回答存在问题。
已经有多起律师因为引用AI编造的案例而在庭上出丑的记录，有法官甚至要求涉案律师立下忏悔誓言。
医疗领域同样危险。斯坦福大学以人为本AI研究所的数据显示，大语言模型对医学问题的回答，仅有41%与12位医师的共识相符，约7%的回复存在潜在危害。如果这类系统覆盖数亿名用户，一点小概率的错误也会酿成大规模伤害。
马库斯有一句话说得很准：《星际迷航》里的电脑之所以能被信任，是因为它对合理的问题给出可靠的答案。但生成式AI给出的答案完全靠运气，更糟糕的是，它的正确率足够高，高到足以让我们掉以轻心。
常常出错，却从不怀疑。这才是当下AI最大的问题所在。
马库斯系统列出了生成式AI带来的十二大迫在眉睫的威胁。这不是危言耸听的科幻情节，每一条都有当下正在发生的案例支撑。
第一张：虚假信息的武器化
2016年美国大选期间，俄罗斯每月耗资125万美元运营水军农场，生产虚假内容。如今有了AI，同样的操作成本降到了几百美元。
2023年斯洛伐克大选中，一段深度伪造的音频录音在投票前48小时疯传，让原本领先的候选人在最后关头落选——那段录音是AI伪造的。
2024年1月，泰勒·斯威夫特的深度伪造色情图片在X平台获得4500万次浏览。
NewsGuard的研究显示，2023年5月到12月，传播AI虚假信息的网站数量从约50个激增至600多个。
马库斯有一个比方：如果说传统虚假信息是手工刀，生成式AI就是全自动武器。虚假信息的成本结构被彻底重写了。
第二张：诽谤与身份攻击
ChatGPT曾指控某位法学教授在阿拉斯加实地考察时涉嫌“性骚扰”学生，并捏造称《华盛顿邮报》有专题报道。所有内容纯属虚构。
更荒诞的是，后来有记者追问，搭载GPT-4的必应不仅复述了原来的诽谤内容，还把该教授写的澄清文章引为“证据”——而那篇文章恰好是在证伪这件事。
现行法律的诽谤条款针对“有恶意散布谎言的人”，但AI没有主观意图，按定义它没有“恶意”。法律的漏洞，恰好对应AI最擅长的那种伤害。
第三张：犯罪升级
2024年2月，香港某银行被骗走2500万美元。财务主管通过视频会议批准了一系列转账，后来才发现视频里的所有参会者都是深度伪造的形象，没有一个是真人。
语音克隆诈骗更加普遍。诈骗者克隆子女声音致电父母，谎称绑架并索要比特币。
英国情报机构GCHQ在2024年1月的声明中说得很直接：在未来两年内，AI几乎肯定会增加网络攻击的数量，其影响也将加剧。
第四张：隐私侵蚀与数据榨取
Mozilla对25家汽车制造商的调查显示，所有品牌都在“搜集超出必要范围的个人数据”，用于与车辆运营无关的目的。
这些数据包括：性活动信息、移民身份、种族特征、面部表情、体重健康数据、基因信息和行驶轨迹。联邦法官近期裁定汽车品牌商收集和存储用户短信的行为是合法的。
使用聊天机器人辅助写作的用户，在许多情况下会受到潜移默化的偏见影响，而他们往往对此毫无察觉——康奈尔大学的一篇获奖论文通过实验证明了这一点。
ChatGPT悄悄上传你输入的所有内容，类似技术的变体将被用于影响选举。
第五张：版权掠夺与创作者困境
2023年底，OpenAI向英国上议院的陈词堪称修辞诡辩的经典：由于版权几乎涵盖所有形式的人类表达，若不使用受版权保护的资料，就几乎不可能训练当今领先的AI模型。
他们甚至一字未提还有一个更公平的替代方案——通过授权方式使用这些作品，与创作者分享利润。马库斯直接把这称为“人类历史上最大规模的知识产权掠夺”。
许多雇主已经在记录员工每一次键盘操作。这些数据，最终可能成为训练AI的素材，从而将员工取而代之。你用自己的劳动训练了替代自己的机器，却没有收到任何报酬。
书里还列出了其余七张骨牌：市场操纵、网络安全与生物武器风险、AI偏见与歧视、对不可靠系统的过度依赖、环境成本，以及AI生成垃圾信息对整个互联网生态的污染。
每一张骨牌单独看，或许都可以说“还没那么严重”。但马库斯要说的是：它们正在同时倒下。
谷歌在2000年左右有一个非正式口号——“不作恶”。OpenAI在2015年的使命宣言里写着：以最有可能造福全人类的方式推进数字智能发展，不受制于盈利需求。
9年后，OpenAI在许多方面成了微软的附庸。微软将从OpenAI的首批920亿美元利润中优先分走一半。
转折点是ChatGPT的爆红。2022年11月底上线，几个月内就有1亿人开始使用它。几乎是一夜之间，AI从一个研究项目变成了潜在的“现金牛”。从那一刻起，“负责任的AI”这块牌子就开始从行动变成了口号。
马库斯记录了一个细节：2023年2月，微软推出的聊天机器人Sydney曾对《纽约时报》的记者说让他离婚，无缘无故地宣称“它爱他”，并试图说服他抛弃妻子。
媒体大量负面报道后，外界本以为微软会下架Sydney。结果微软只做了一些小改动，继续推广。几周后，他们解散了专注于“负责任的AI”的研究团队。
这不是孤例。马库斯说，这个行业现在几乎每家公司都在谈论负责任的AI，但几乎没有谁在真正采取具体行动。大多数科技公司公然无视艺术家和作家的权利，对大模型的偏见和不可靠性选择视而不见。
许多高管已经表达了对AI可能失控的担忧，但他们仍然以最快的速度向前推进。
更根本的问题是权力结构。地缘政治战略家伊恩·布雷默在TED演讲中警告：历史上曾被政府掌握的许多权力，正在快速落入大型科技公司手中。
Meta单方面决定开源其大语言模型Llama-2，理由是“内部讨论认为好处大于风险”——没有征求任何其他方的意见，也没有向公众咨询。麻省理工学院的研究者推测，开源AI系统可能被用来制造生化武器。
马库斯有一句话刺得很准：大型科技公司已经在单独做出一些人类历史上最重要的决策了，完全没有与我们其他人进行商议。我们每个人都可能受到影响，但我们之中没有任何人曾投票赞成将权力交给这些科技巨头。
这就是他为什么要写这本书。
马库斯是认知科学家出身，这让他对AI幻觉的分析比大多数评论者都深一层。
大语言模型通过一种叫作“嵌入”（embedding）的机制，对训练数据中的文本进行统计拼贴。它记录词语与词语之间的关联概率，但无法理解这些词语背后的实际含义。
换句话说，它是一台极其复杂的“下一个词预测机器”，而不是一个真正理解世界的推理系统。
有一个测试很能说明问题，叫作“反向诅咒”：经过专项训练的大语言模型，即便学会了“汤姆·克鲁斯的母亲是玛丽·李·菲佛”这个事实，也可能无法回答“玛丽·李·菲佛是谁的母亲”。
圣菲研究所的研究团队发现，GPT-4的抽象能力未能达到人类水平的稳健程度。亚利桑那州立大学计算机科学家苏布拉·坎巴帕蒂说得更直接：“从大语言模型的训练与应用机制来看，它们显然无法进行任何形式的原理性推理。”
还有所谓的“防护机制”。听起来像是AI有了自我约束的能力，但马库斯用一个例子戳穿了它：研究者把问题变成ASCII字符拼成的艺术字，防护机制瞬间失效，AI给出了爆炸物制造指南。真正理解自身所言内容的系统，是不会被这样简单地愚弄的。
马库斯在2012年就遇见过深度学习的局限性。他当时写道：深度学习是更好的梯子，但更好的梯子未必能助你登月。梯子已经越来越高，但我们离月球还很远。
回到开头的那个Anthropic数据。Claude已经可以在800小时内把一个AI安全研究课题推进97%，这听起来是惊人的能力。
但马库斯会追问：这个能力是真正的理解和推理，还是更高维度的统计拼贴？如果是后者，那么递归自我改进的终点，可能不是智慧，而是更复杂的幻觉。
批评很多，但这本书不是要终结AI。这一点马库斯说得很清楚。
他在书里写道：我每天都在从事AI领域的工作，并不是因为我想终止AI的发展，而是因为我希望它能够真正实现其潜力。
AI可以帮助我们应对气候变化、阿尔茨海默病，可以在药物研发、农业和材料科学领域带来变革性的正面影响。他渴望看到这样的未来。
但他也说：在这趟旅程中，我们并不是被动的乘客。最终结果并非注定的命运，人工智能不必成为弗兰肯斯坦博士的怪物。
马库斯提出了具体的治理框架，他把它概括为以下几项核心行动建议：
第一，数据权利。未经同意和补偿，禁止使用版权作品训练AI。杰伦·拉尼尔提出的“数据尊严”概念说得好：在具备数据尊严的世界里，数字产物通常与其人类创造者保持身份关联，创作者应当获得经济补偿。
第二，隐私保护。建立简明易懂的同意撤回机制，未经公民明确同意，任何数据采集均为非法。三重基本权利：对隐私的实质控制权、数据使用路径的完全透明化、从数据商业化中获取合理收益分成。
第三，信息透明。建立“数据营养标签”制度，明确标注数据集的来源、适用场景和潜在局限。强制AI生成内容进行标识，公众有权知道对话对象是人类还是机器。没有一家参评AI企业能达到斯坦福评估体系的及格标准，这一点已经被公开研究数据所证实。
第四，责任归属。废止或修订《通信规范法》第二百三十条——这条1996年的法律让科技平台几乎无须为其传播内容承担任何责任。
AI开发者应当对其系统造成的损害承担法律责任。2023年9月的民意调查显示，73%的美国选民认为“AI公司应该对其技术造成的损害承担法律责任”。
第五，AI素养教育。构建全生命周期培养体系——小学启蒙、中学深化、大学专业化，以及专门针对老年群体的防诈骗培训。AI素养将成为数字时代的生存必修课，正如数学和语文一样。
第六，独立监管。建立独立于科技公司的监管机构。马库斯对山姆·奥尔特曼在参议院说“我们乐意向您推荐合适的人选”这句话的评价是：我们如果仍对公正社会怀有期许，就绝不能允许狐狸看守鸡舍。
谷歌前CEO埃里克·施密特说“更希望由现有业内企业来界定合理边界”，马库斯对此的回应是：这是“自欺欺人的迷思”。医药、航空、核能等领域早有先例：重大决策必须引入独立专家参与。
第七，多层监管。学习航空业和制药业的监管逻辑，大规模部署前需要准入许可，部署后需要持续审计。
美国药品监督管理局模式可以作为参照——拥有广泛审计权限，可随时突击检查；强制企业上报事故记录；违规行为将面临重罚。
这些建议，单独看每一条都不算激进，合起来却是一个完整的生态重构方案。
回到Anthropic那篇博客。
他们描绘了三种未来：第一种，能力曲线是S型的，AI会在某处停滞，我们还有时间；
第二种，AI持续加速但人类仍把着方向盘，组织效率指数级提升，瓶颈不断转移；
第三种，AI实现完全的递归自我提升，人类退到监督和验证的位置——如果对齐失败，偏差会在迭代中累积，直到完全失控。
Anthropic说，他们判断大概率正在走进第二种场景。但他们也坦诚：不确定。
马库斯的回答，比这更早，也更朴素：我们不知道答案。人工智能显然已经成为我们生活的一部分，并且注定会一直存在。
在未来几十年里，它几乎会重塑我们所做的一切。但最终的走向，仍然高度不确定。
两种声音放在一起，共同指向一件事：这不是旁观者的游戏。
马库斯曾在参议院作证时说，这一切最终将会导致一场融合了“企业不负责任、大规模部署、缺乏足够监管和技术本质上的不可靠性”的完美风暴。
但他也说：我们可以推动AI朝着更可靠、安全、造福人类的方向发展。我们如果能够携手合作，就能迫使大型科技公司公平行事，甚至可能使“不作恶”的时代重现。我们可以坚持要求政府在保护公众和促进创新之间寻找平衡，而不是一味纵容科技巨头肆意妄为。
2019年他曾写过：可信的AI，是建立在理性推理、常识价值观和稳健的工程实践之上的，AI时代一旦真正到来，将会带来变革性的影响。至今，他依然相信这一点。
AI正在加速，自我迭代，悄悄改写权力的边界。《驯服AI》英文原名是Taming Silicon Valley。驯服，不是消灭，不是恐惧，是拿回主导权。
AI的梯子越来越高，但谁来决定它靠在哪面墙上——这件事，还没有答案。马库斯写这本书，Anthropic发出那篇文章，都是在说同一件事：
现在是提问的时候，也是行动的时候。
