你有没有过这样的经历：学一项新技能的时候，一旦找到一种"够用"的方法，就很难再逼自己去尝试别的路子？
比如学做菜，第一次把番茄炒蛋炒成功了，之后你大概率会一直用同一种火候、同一个顺序，很少再去试试先放糖还是先放盐会不会更好吃。因为你已经有一个"能吃"的答案了，探索新做法的动力反而消失了。
现在把这个场景换成AI。让大语言模型去做"开放式科学发现"，比如寻找数学问题的更优解，或者设计更好的单细胞数据去噪算法，它也会掉进同样的陷阱。这篇来自伊利诺伊大学香槛分校、马里兰大学和斯坦福大学的研究团队的论文，就是在琢磨怎么让AI在这件事上少踩这个坑。
**当"做题"变成"搞研究"，奖励机制反而成了枷锁**
先说说这类任务到底是什么。
**开放式发现**：不是回答一道有标准答案的题，而是在一个描述清楚、有自动评分器的问题空间里，持续地提出候选方案、拿到反馈、再提出更好的方案，目标是不断突破当前最优记录。
比如让AI去解决"Erdos最小重叠问题"（一个关于函数构造的数学难题），或者在单位正方形里塞26个圆、让所有圆的半径之和最大（圆堆积问题）。AI写代码构造出一个候选解，评估器打分，AI根据分数再写下一版代码，循环往复。
早先的做法是让一个参数冻结的大模型反复采样，靠archive（存档，记录历史上评估过的候选方案及其程序）、提示词、种群演化这些外部机制来积累经验。这类方法的问题很直接：模型本身的参数从来没有被更新过，它永远是那个"刚出厂"的模型，所有的学习都发生在上下文里，而不是权重里。
**TTT-Discover**：这篇论文里提到的一种"测试时强化学习"基线方法，直接用当前问题收集到的经验去更新模型的参数，让模型真正"学会"一些东西，而不只是把历史记录塞进提示词里。
这是个进步，但进步背后藏着一个新麻烦。为了让模型更倾向于生成高分方案，强化学习通常会用指数加权的方式放大高奖励轨迹的权重，公式里有个参数β，β越大，模型就越死心眼地往已经验证成功的方向钻。
这就像公司考核员工只看这个月的业绩数字，然后把奖金全部砸向业绩最好的那几个人。短期看起来很公平很高效，但那些正在尝试新方向、这个月还没出成果但方向可能很有前途的员工，会因为拿不到资源而被迫放弃探索，转头去抢业绩明星已经验证过的那条赛道。如果不这样设计奖励，公司可能会浪费资源在没有产出的方向上；但如果一直这样设计，公司会慢慢失去发现下一个增长点的能力。这正是论文开篇提出的核心问题：怎么让AI既能从任务反馈里学习，又不至于过早放弃那些当下看起来不怎么样、但可能藏着惊喜的探索方向？
**给AI装一个"好奇心模块"：ICWM到底在学什么**
研究团队的答案是CURIO，一个在强化学习循环里加入"内在好奇心世界模型"的框架。
**ICWM（Intrinsic Curiosity World Model，内在好奇心世界模型）**：一个专门用来预测AI自身隐藏状态变化的小模型，预测得越差，说明这个地方越"意外"，就越值得奖励AI继续往这个方向探索。
这里有个容易搞混的地方要先说清楚：ICWM不是在预测这道数学题该怎么解，也不是在预测评估器会打多少分。它只是在观察，当AI生成下一个token（词元）的时候，它内部的"思维状态"是怎么变化的，然后试着去预测这种变化。预测不准，就说明这步"思维跳跃"超出了ICWM已经学到的模式，这个token因此会拿到一点额外的奖励。
这就像一个老师在批改学生的解题过程，不是看答案对不对，而是看学生这一步的推导是不是她能预料到的套路。如果学生总按套路走，老师闭着眼都能猜出下一步，这种"意料之中"没什么好奖励的；但要是学生突然跳出一个老师没想到的思路，哪怎么判断这步到底是瞎蒙的还是真有灵感？论文很诚实地承认了这一点：预测误差大，只能说明这个转折对当前的预测器来说很难建模，并不能证明这步真的有价值，也不能保证它会带来任务上的实际提升。好奇心信号是个辅助探索的指南针，不是真理探测器。
论文还特别强调，这个"好奇心奖励"只在特定条件下才会生效：当采样到的token不在模型自己给出的"最可能候选"（即top-k）范围内时才触发。换句话说，模型按照自己最熟悉的套路走，不会有额外奖励；只有当它走了一条自己原本不太会选的路，才会被"表扬"一下。这个设计很关键,因为如果对每一个token都计算好奇心奖励，整个训练信号会被噪音淹没,模型会被鼓励去做大量无意义的随机尝试,而不是把精力放在真正值得探索的分支点上。
**代价与收益：好奇心信号是怎么和任务奖励"拼接"在一起的**
光有好奇心还不够，得想办法让它和任务本身的奖励信号协调工作,而不是互相打架。
论文设计了一套精细的组合机制。任务奖励这边，用的是一种叫做"leave-one-out"的采样任务系数（公式里写作A_i^task），本质上是把一组候选方案的奖励做指数加权，再除以其他候选方案的平均权重，减1。这保证了奖励信号对同一批候选方案是相对可比的,不会因为某一批整体分数偏高或偏低而失真。
另外，论文还加了一个"token-local参照修正"项,用来约束模型不要偏离初始参考策略太远。这个修正是针对每个token单独算的,不是把整句话的某个统计量硬塞给每一个词。
**epoch归一化**：好奇心奖励在每一轮训练（epoch）内部会被统一做均值和方差的标准化处理，这样好奇心奖励的数值范围才能跟任务奖励保持大致匹配的量级，不会一个信号强到压过另一个。
**退火权重**：好奇心奖励前面乘的系数η，会随着训练轮数增加逐渐减小，往一个预设的下限靠近，让探索信号在训练后期自然"降温"。
这套设计让我想到一个场景：公司新人培训期间，老师傅会鼓励你多试错、多问"为什么不能这样做"，这时候犯错成本低、探索被鼓励；但等你上手一段时间后，培训强度自然减弱，工作重心切换到按既定流程高效产出。如果好奇心信号一直保持高强度不退火，模型可能永远在"乱试"，没办法沉淀出稳定可靠的解法；但如果一开始就不给探索空间，模型可能很快就卡在局部最优解里出不来。退火机制本质上是在时间维度上做了一次资源分配：早期多探索，后期多利用。
论文里还有个细节值得一提：好奇心奖励是"居中"的，意味着它既可能是正数也可能是负数，被选中的token不一定总能拿到正向奖励。这和传统意义上"做得好才有奖励"的直觉不太一样，但恰恰是因为好奇心信号衡量的是"意外程度"而不是"正确程度"，所以才需要这种双向波动的设计。
**六个数学难题和两组基因数据，CURIO跑出了什么成绩**
说了这么多设计思路，实际效果到底怎么样？
研究团队在六个数学发现任务（Erdos最小重叠问题、三个自相关不等式AC1到AC3、26圆堆积问题、29阶Hadamard矩阵最大化行列式问题）和单细胞RNA测序数据去噪任务上做了测试,用的是阿里的Qwen3系列模型,从80亿参数到2350亿参数不等的多个规模。
对比对象是TTT-Discover（前面提到的那个只用任务奖励、不带好奇心模块的对照组），结果显示CURIO在五个数学目标上都跑赢了对照组，在圆堆积问题上打平了目前已知的最佳表现（约2.635983，这是个已经被研究了很久的几何常数）。在Hadamard矩阵任务上，2350亿参数规模下相对提升达到18.3%；在单细胞去噪的Tabula数据集上，80亿参数规模下Score指标相对提升10.8%。
有意思的是，这个提升不是在所有情况下都一边倒。比如80亿参数规模的Tabula数据集上，另一个叫ThetaEvolve的测试时强化学习基线方法在Score和MSE（均方误差）两个指标上反而比CURIO略好一点（0.7207对0.7165，0.1441对0.1485）。这说明好奇心机制不是万能药，它改善的是整体趋势，不是每一个具体场景的绝对胜利。
论文还做了一件挺有意思的事：测量生成代码的"结构多样性"。这不是直接去衡量代码背后数学思路有多新颖（那太难量化了），而是用OpenEvolve项目里现成的一个"岛屿多样性指标"，去比较不同候选程序在字符长度、换行数、字符集合上的差异。结果显示，CURIO生成的代码在训练的早期、中期、后期、最终阶段，结构多样性都比TTT-Discover更高。
这个结果值得多想一层。代码写得长短不一、字符用得五花八门,并不直接等于解题思路更聪明，这就跟两个学生交的作业格式差很多,但答案可能都是抄同一本参考书不是一回事。论文自己也坦诚地承认了这个局限：代码多样性是个代理指标，不能直接证明语义上的创新，也不能证明任务表现一定会因此变好。但至少，它从一个侧面佐证了好奇心机制确实在把模型推向更广阔的搜索空间，而不只是让它在一个狭窄的局部反复打磨。
**哪个部件真正起作用：三组消融实验告诉你的事**
一个新机制加进来，到底哪部分在真正起作用？研究团队在140亿参数的Qwen3模型上做了三组消融实验。
第一组是调整好奇心权重的初始值η?，测试了0、0.3、0.5、0.8四档。结果显示没有一个万能的最优值：自相关任务（AC1-AC3）在0.3时表现最好，而Erdos问题、Hadamard矩阵任务和单细胞去噪任务在0.5时表现最好。更大的权重0.8在部分任务上甚至比完全不用好奇心（即对照组）还差。这说明好奇心信号这东西，剂量不对会反伤。
第二组是替换ICWM内部的预测器架构，用GRU（门控循环单元）和Transformer去替换默认的三层MLP（多层感知机）。结果是默认的MLP方案整体表现有竞争力，但哪种架构最好要看具体任务，没有绝对赢家。
第三组最耐人寻味，是比较ICWM用来做预测的"输入表征"来源。默认方案是用正在训练的策略模型自身的隐藏状态（也就是模型会随着训练不断变化的那套内部表征），对照组换成了两种"冻结"的表征：一种来自训练开始前的初始模型，另一种来自一个完全独立的外部大模型。结果是，和正在演化的策略模型耦合在一起的表征，在大多数任务上表现更好。
这个结果其实在逻辑上说得通。好奇心本该衡量的是"这个变化对当前这个正在学习的模型来说有多意外"，如果拿一个固定不变的外部参照系去衡量，那好奇心信号衡量的其实是另一个问题："这步对一个从来没学习过的旁观者来说有多意外"。这两者并不是一回事。好比一个资深外科医生在复盘手术时的"意外感"，和一个刚入学的医学生看同一段手术录像的"意外感"，关注点完全不同,前者的意外往往意味着真正的临床变数，后者的意外可能只是因为知识储备不足。模型自己的表征在不断进化，用它自己的"认知水平"去衡量意外，比用一个静态的外部标尺更贴合"探索"这件事本身的意义。
**这套方法到底解决了什么，又留下了什么没解决**
回到最开始的问题：怎么让AI在从任务反馈里学习的同时，还能保留对未知方向的探索欲？
CURIO给出的答案，本质上是给强化学习加了一层"预测误差驱动"的补充信号，让模型在追逐高分的同时，不完全丢掉那些"看起来陌生"的路径。这个思路并不是凭空出现的，它借用了2017年Pathak等人提出的"自监督预测驱动好奇心"经典框架，但把应用场景搬到了大语言模型做开放式科学发现这个新战场。
论文在严谨性上做得很细致，几乎每一个公式背后都附带了大量"这不是什么"的澄清：好奇心奖励不是无偏的内在优势估计，预测误差不等同于语义新颖性，代码多样性不等同于思路创新。这种近乎挑剔的自我审视,在学术写作里其实挺少见，但也正说明了作者团队对这类探索性方法的边界有清醒认知。
**写在后面**
读完这篇论文，最让我意外的是它对"意外"这件事本身的谨慎态度。很多强化学习探索类论文会直接宣称自己的方法能带来"更智能的探索"，但这篇文章反复强调预测误差大并不等于有价值，代码结构多样不等于思路创新。这种克制反而让我更信这个方法。
还有一个细节让我停下来想了很久：论文提到好奇心奖励的最优权重在不同任务上差异很大，自相关不等式类任务偏好0.3，而数学构造和生物信息类任务偏好0.5。这说明"好奇心"这件事本身也是任务相关的，不存在一个放之四海而皆准的探索强度。这其实挺反直觉，因为我们平常谈论AI的探索能力时，总默认存在某种通用的"探索系数"，但实际情况可能是，不同类型的问题空间需要完全不同节奏的好奇心。
这让我联想到人类做科研的状态。有些领域需要你小心翼翼地在已知边界上做渐进式微调（像AC系列任务偏好低好奇心权重），有些领域反而需要你大胆跳出框架重新想问题（像数学构造任务偏好更高的好奇心权重）。或许这不是AI独有的现象，而是任何探索性认知活动都绕不开的底层规律。
论文还没解决的问题也挺明显：好奇心信号目前完全建立在模型自身隐藏状态的预测误差上，但谁能保证这个误差真的捕捉到了"有价值的未知"，而不是单纯的噪音？如果换一种表征方式，比如结合执行结果的语义反馈，好奇心信号会不会更精准？这大概是留给后续研究者的一个有意思的坑。
Q&A
Q1：CURIO是什么？
A：CURIO是一个为AI开放式发现任务设计的测试时学习框架，它在强化学习循环中加入了内在好奇心世界模型（ICWM），通过预测误差给AI额外的探索奖励，让模型在追逐高分解法的同时也愿意尝试不那么确定但可能有潜力的新方向。
Q2：ICWM好奇心奖励会不会让AI乱试一通浪费资源？
A：不会，因为好奇心奖励只在采样到的词元超出模型自己最可能的候选范围（top-k）之外时才会触发，而且奖励数值会在每轮训练内做归一化处理，权重还会随训练进程逐渐降低，避免探索信号一直过强干扰正常学习。
Q3：CURIO在实际任务里效果怎么样？
A：在六个数学发现任务和两个单细胞去噪数据集上，CURIO相较纯任务奖励的对照组在五个数学目标上都有提升，Hadamard矩阵任务最高提升18.3%，去噪Score指标最高提升10.8%，但并非所有场景都占优，部分指标上仍有基线方法表现更好。
