(来源:图灵人工智能)
转自X4AI,仅用于学术分享,如有侵权留言删除报道
提到通用人工智能AGI,很多人第一反应就是大模型。但很少有人知道,早在大模型诞生之前,就已经有一套完整、严谨的通用人工智能数学理论——AIXI理论。
它不依赖神经网络,不靠海量真实数据训练,从奥卡姆剃刀、贝叶斯推理这些基础原理出发,在数学上定义了「理想状态下的最优通用智能体」。
虽然AIXI本身是不可计算的“理论灯塔”,无法直接在电脑上跑出来,但是它奠定了机器智能形式化度量的思想根基,深刻影响了后世对“什么是智能”的思考。
今天这篇文章,我们就来梳理这条偏向理论的AGI发展脉络:从哲学原则到算法信息论,再到AIXI与通用智能度量。
一、长久的难题,到底什么是智能?
1950年,图灵发表《计算机器与智能》,抛出经典问题:机器可以思考吗?
为了绕开“思考”这个模糊的哲学概念,图灵提出著名的图灵测试:如果人类裁判无法通过文本对话区分机器和人类,则可以认为机器具备智能。
图灵测试影响深远,但它有一个致命局限:它测试的是“机器模仿人类的像不像”,而不是真正广义上的智能。
一个机器可以靠巨型查表,背诵所有对话答案骗过裁判,但它完全不理解对话内容,也无法处理查表之外的任何新任务。 对于和人类感知、认知完全不一样的系统,图灵测试就更加难以适用。
问题随之而来:能不能跳出“模仿人类”,找到一套普适标准,去衡量任意智能体(人、动物、机器)的智能水平?
这一追问,催生了后来以AIXI为代表的通用人工智能理论。
二、理论基石:四大古老原则,数学化的智能哲学
AIXI并不是凭空诞生,它建立在几条跨越千年的思想原则之上,后被算法信息论严格数学化。
✂️奥卡姆剃刀:如无必要,勿增实体
如果多个假说都可以解释观测到的现象,优先选择最简单的那一个。
日常生活、IQ测试的模式推理,都在无意识使用这条准则。但哲学原则本身是定性的,如何让计算机自动判断“哪个假说更简单”?这需要一套可以量化“复杂度”的工具。
📜伊壁鸠鲁多解释原则
如果多个理论都符合观测事实,不要轻易丢弃任何一个可行的假说。
我们不能只保留自己偏好的简单理论,需要同时保留全部符合证据的候选解释,再根据新的观测逐步筛选淘汰。
📊贝叶斯推理:根据证据更新信念
贝叶斯条件概率,提供了一套严谨的数学工具:拿到新的观测数据之后,如何更新不同假说成立的概率。 公式简写:后验概率 ∝ 似然 × 先验概率。
贝叶斯框架很好,但有一个绕不开的痛点:在一无所知的情况下,我们该如何设定先验概率?
🖥️图灵通用机:什么叫做“可计算”
图灵证明:任何可以通过固定步骤完成的计算,都可以由一台通用图灵机完成。 这为“描述世界、描述假说”提供统一载体:一切假说都可以写成图灵机的程序。
三、算法信息论:把“简单”这件事算出来
上面四条原则,在20世纪60年代被数学家融合,诞生了算法信息论,这是AIXI的底层土壤。
1. 柯尔莫哥洛夫复杂度
一个对象的复杂度 = 在通用图灵机上,能够生成该对象的最短程序的长度。
一段规律重复的序列,可以用很短的程序生成,柯尔莫哥洛夫复杂度很低; 完全随机无规律的字符串,不存在简短描述,复杂度很高。
它给“奥卡姆剃刀”提供了客观的数学标尺:程序越短,假说越简单。
2. 所罗门诺夫通用先验
所罗门诺夫把奥卡姆剃刀、伊壁鸠鲁原则、贝叶斯推理、图灵机四者融合,提出所罗门诺夫通用先验:
(K(H))就是假说H的柯尔莫哥洛夫复杂度;
假说越简单(K越小),分配到的先验概率就越高。
这就解决了贝叶斯推理最大难题:完全没有先验知识的时候,如何自动给各个假说分配初始概率。
所罗门诺夫归纳实现了通用预测:面对未知的序列,不需要人为设置先验,就可以对未来做出最优的预测。
注意:所罗门诺夫通用先验同样是不可计算的,只能做近似。
3. 贝尔曼方程:未知环境下怎么做最优决策?
所罗门诺夫解决的是预测问题:根据历史观测,预测接下来会发生什么。 但智能不只有预测,还要行动、做决策、达成目标。
贝尔曼方程来自动态规划,描述智能体如何权衡即时奖励和未来回报,在已知环境中做出最优序贯决策。
所罗门诺夫通用预测(预测) + 贝尔曼最优决策(行动) = AIXI 通用人工智能理论
四、AIXI:数学上的理想最优通用智能体
2005年,Marcus Hutter在专著《Universal Artificial Intelligence》正式完整提出AIXI模型。
AIXI核心思想
AIXI是一个理想化智能体,处在未知的交互环境中:
接收环境传来的观测与奖励信号;
使用所罗门诺夫通用先验,维护所有可能的环境假说;
利用贝尔曼方程,对未来所有交互序列做推演;
选择能够最大化未来期望累计奖励的动作输出。
从理论上说:面对任意可计算的未知环境,AIXI的表现不弱于任何其他可计算智能体。它是通用智能的理论性能上限。
但是非常关键:AIXI是不可计算的。因为底层依赖柯尔莫哥洛夫复杂度与所罗门诺夫先验,没有计算机可以完整运行原版AIXI。它更像物理学里的“理想气体”,是思想实验模型,给研究者指明方向,而不是直接落地实现的工程代码。
于是就引出下一个问题:既然AIXI跑不出来,我们能不能用它的思想,给出机器智能的度量标准?
五、Legg‑Hutter通用智能:智能的形式化定义
2007年,Shane Legg与Marcus Hutter发表里程碑论文《Universal Intelligence: A Definition of Machine Intelligence》。
作者梳理大量心理学家对人类智能的定义,萃取得到非正式定义:
✨智能衡量一个智能体,在广泛多样的环境当中达成目标的能力。
在此基础上,基于 AIXI 理论推导出通用智能度量 Υ(π)。
通俗来讲:给智能体丢进各种各样不同的环境,看它完成目标拿到奖励的整体表现;简单环境权重更高,综合得分就是这个智能体的通用智能分数。
这套定义最大的优点:非人类中心主义。不需要模仿人类说话、不需要具备人类感官;人、动物、机器人、算法都可以用同一套标准评判。
局限依旧存在:
柯尔莫哥洛夫复杂度不可直接计算,Υ(π)无法直接算出真实机器的分数;
权重依赖参考通用图灵机,存在微小常数偏移;
原始度量不考虑智能体消耗多少算力,无法区分暴力算力堆砌和高效学习。
六、AIXI理论之后:理论的延续与现实困境
AIXI和通用智能度量虽然不能直接运行,但是深刻塑造了AGI理论研究方向:
AIXI的可计算近似研究
学者提出AIXI‑tl、AIXI‑ξ等资源受限近似版本,给模型加上时间、内存约束,研究有限算力下逼近理想通用智能的可能性。Schmidhuber提出Speed‑Prior速度先验,在原先验中加入计算开销代价,弥补原模型忽略算力的短板。
机器智能评测新思路
Legg‑Hutter思想启发很多现代评测设计:评测不局限单一任务,看重跨多种陌生环境的学习与适应能力,例如ARC抽象推理数据集。
现实的鸿沟
现实世界的环境集合巨大复杂,我们永远只能采样一小部分环境去测试AI;理论中“全部可计算环境”,工程上无法穷尽。
很多人会混淆:AIXI ≠ 大模型。 大模型是工程产物,依靠海量真实文本数据统计拟合;AIXI是纯粹数学理论,依靠算法信息论,不需要真实训练数据集。二者出发点完全不一样。
✍️写在最后
从奥卡姆剃刀哲学,到柯尔莫哥洛夫复杂度、所罗门诺夫先验,再到AIXI理想智能体、Legg‑Hutter通用智能度量,这一套理论给我们提供了一套思考“智能是什么”的思想坐标系。
AIXI就像远方的灯塔,它告诉我们理想的通用智能在数学上应该是什么样子,但灯塔本身,你无法抵达。
它提醒我们一个核心问题: 评判智能,不该看它模仿人类有多像,而要看它面对各式各样全新环境,完成目标、学习适应的综合能力。
时至今日,如何构造AIXI的实用近似,设计可落地、非人类中心主义的机器智能评测体系,依然是通用人工智能领域最重要的开放科学问题。
🔎延伸阅读
Solomonoff R J. A formal theory of inductive inference, Information and Control, 1964
Hutter M. Universal Artificial Intelligence: Sequential Decisions based on Algorithmic Probability, 2005
Legg S, Hutter M. Universal Intelligence: A Definition of Machine Intelligence, Minds and Machines, 2007








