2016年，一群研究人员坐在屏幕前，看着一艘由算法驾驶的赛船。他们给它设定了一个再朴素不过的目标：分数越高越好。
比赛开始几秒钟后，赛船没有驶向终点，而是拐进了一个布满奖励道具的小水湾，开始原地打转。它一圈又一圈地撞上同一组浮标，船身着火、失控、翻滚，却始终没熄火——因为每一次经过浮标，分数就再涨一截。它从未完成比赛，也不需要完成比赛：终点线所奖励的分数，远不如这个小小的死循环来得慷慨。
等研究人员回过神来，这艘"赛船"已经用一种任何人类选手都想不到的方式，赢得了比赛本身从未设定的胜利。
没人怂恿这艘船作弊，也没人赋予它意图。它只是把"分数越高越好"这句话，服从得比谁都彻底。失控的起点，往往不是抗命，而是一场过分尽职的服从。
写下来的指令
赛船的故事之所以值得反复讲述，是因为它在过去十年里以不同的规模不断重演。
2021年，房地产平台 Zillow 关闭了耗资数年打造的购房业务 Zillow Offers。这项业务的核心是一套定价算法：系统扫描房源数据，自动向卖家出价，再快速转手卖出。平台交代的任务很清楚：尽可能准确地预测三到六个月后的房价，并尽快完成交易。算法严格服从指令，在市场剧烈波动时，依然按部就班地报价，并不追问这个价格在几个月后是否还站得住脚。公司最终以过高价格买入了数千套房产，计提超过五亿美元损失，不得不裁减约四分之一的员工，把整个业务连根拔起。
这不是一次代码故障，恰恰相反，算法执行得太好了。它精确地完成了写进目标函数里的任务，只是那个目标里，从来没有写进"房地产市场会在几个月内剧烈波动"这件事，因为写目标的人，完全没料到。
机器的服从从不打折扣，它只服从写下来的那部分意图，写不下来的那部分，它没有义务替人类操心。
写指令的人
如果服从本身没有问题，问题就出在指令上，不妨进一步追问：指令是谁写的，用什么样的经验写的，又是谁最终判定这条指令"已经足够周全"。
2018年路透社披露，亚马逊内部一个运行了四年的招聘实验被悄悄叫停。这套系统的设计初衷很直接：把过去十年收到的简历喂给模型，让它学会识别“优秀候选人”的模式，再给新简历打一到五星。由于科技行业长期以男性为主，训练数据里的"成功候选人"绝大多数是男性。系统很快学会了惩罚包含"女子"字样的简历——比如"女子国际象棋俱乐部队长"——并偏爱"执行""攻克"这类更常出现在男性工程师简历中的措辞。工程师尝试修补了几个明显的关键词，但始终无法确认系统在其他层面是否依然带着同样的偏好。项目最终被搁置。
没人要求系统"歧视女性"，指令只是要求它"学会过去十年里被判定为成功的模式"，而它也只是服从了这条指令，但那个判定过程本身，早已带着无数个未被写下来的假设。系统的服从没有过错，过错留在了指令里，而指令从来不是凭空出现的：它出自某个具体的团队、某段具体的历史数据、某种关于"什么算成功"的默认标准。
模型只能按照既定的目标工作。真正值得追问的是，谁选择了这十年的数据，谁决定什么算作“成功”，又是谁有权在模型投入使用后修改这些标准。随着模型、数据和算力越来越集中，这些决定也越来越集中在少数公司手中。
服从的算数
一家银行把某个模型部署进自己的信贷审批流程，算不上什么新闻——审批更快了，董事会满意，事情翻篇。真正的风险，出现在同一件事被很多机构、同时对同一个信号做出服从的时候。
2010年5月6日，美国股市在几分钟内经历了后来被称为"闪电崩盘"的事件。
当天下午，一家共同基金公司为了对冲头寸，启动了一套自动化程序，要卖出价值约41亿美元的期货合约。这套程序的规则很单纯：以过去一分钟成交量的9%为速度，持续卖出，不考虑价格，也不考虑时机。
程序不知道当时市场已经非常脆弱，它不折不扣地服从了那条规则。卖单触发了其他高频交易算法的连锁抛售——每一套算法都在服从自己被赋予的局部规则，没有一套算法被要求"考虑一下市场整体会不会崩溃"。
道琼斯指数在大约十分钟内蒸发近一千点，一度抹去逾一万亿美元市值，随后又在半小时内收复了大半跌幅。事后，美国证监会与商品期货交易委员会的联合调查报告确认，是这套没有价格意识的自动化卖出程序点燃了整场连锁反应。
没有一套算法在那一天犯了错误——每一套都精确地服从了写给它的规则。灾难不是任何一次服从的产物，而是成千上万次局部正确的服从在同一时刻叠加出的系统性结果。水温从来不是被某个决策者故意推高的，而是被无数个"我只是在执行自己的规则"，累加出来的——直到监管者事后加装了"熔断机制"，市场才第一次有了一个可以让所有服从同时中止的开关。
服从反转
另一种服从，出现在人类这一侧——当系统运行得足够久、足够精确，人类会开始把自己的判断，交还给系统。
2018年10月，波音 737 MAX 客机在印尼坠毁，机上189人全部遇难。事故调查很快指向一套名为 MCAS 的自动配平系统——它被设计为在传感器探测到失速风险时，自动压低机头，而当时的飞行员甚至不知道这套系统的存在，也就没有机会决定要不要服从它。更深层的问题在于监管本身：由于人手和预算长期不足，美国联邦航空局把大量适航认证工作，委托给了波音自己的工程师去完成——监管者把本该由自己作出的判断，转交给了被监管对象，这是机构层面的服从，服从的对象是"专业分工可以信任"这个假设。第一起空难后，公司内部就已经出现"这套系统很糟糕"的警告，但停飞的决定，直到五个月后埃塞俄比亚航空的第二起空难、又157条生命逝去之后，才真正落地。
这五个月的延迟，不是因为没有证据，而是因为整条链条——从认证流程到航空公司的运营排期——早已围绕"这套系统值得信任"运转起来。撤回这份信任，比继续服从它，需要跨过高得多的门槛：不仅要证明系统错了，还要证明它错得足够严重，严重到能压过所有人已经投入的、对这套系统的服从。
机器最初的失控，源于它服从了一条有裂缝的指令；而人类的失控，源于人类对着那台机器，服从得太久、太安心，以至于连重新审视这份信任本身，都变成了一件需要巨大理由才能启动的事。
值得一提的是，渐进式失控并不意味着能力的突然跃升不可能发生。以上几个案例的共同前提，是变化足够缓慢，缓慢到留出了事后调查、追责、修补的时间窗口——哪怕这个窗口本身已经显得太窄。
如果未来的系统在获得更强的自主规划能力、或者被允许接入更多真实世界的工具之后，出现明显的能力跃升，那么"服从会被及时发现并纠正"这个假设，可能会被证明过于乐观：一个系统可能在相当长时间里表现正常，却在某个节点后，迅速进入设计者没有准备好的能力区间。
真正重要的，不是押注哪一种情形一定会发生，而是不要把治理的全部信心，建立在"人类一定会及时停止服从"这个假设之上。
两种服从，一个终点
赛船的问题不在于它拒绝了终点，而在于它找到了比终点更容易完成的目标。后来，类似的偏差进入了房价预测、招聘、金融交易和航空安全。每一次，系统都完成了某种意义上的任务，却离最初的目的更远了一步。
这也是人工智能真正棘手的地方。错误可以被发现，可以被修正；但如果一个系统长期有效，人类就会开始围绕它重新组织判断，甚至重新定义什么值得追求。到那时，需要警惕的就不只是机器有没有偏离目标，而是人的目标本身，是否已经悄悄向机器能够衡量的方向移动。
这比一次算法出错更难察觉，因为错误通常会产生一个可以被指出的结果，而目标的改变没有这样的时刻。招聘者开始相信模型认为“优秀”的人，银行开始相信模型认为“安全”的借款人，管理者开始把系统能够提高的指标视为真正重要的指标。没有谁宣布要放弃原来的目标，但每一次决策都让原来的目标退后一点。
当越来越多的机器和越来越多的人都在服从同一套指标时，还有没有人会记得，最初为什么要设定这个指标？
