一个拥有8亿参数的大语言模型，只修改其中0.016%的权重，数学测试成绩就提高了约6倍。
而且，这些修改都没有使用传统的梯度下降训练。
11月2日，麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）公布了一项名为《权重空间编程的曙光》（Sparks of Weight-Space Programming）的研究，展示了OpenAI的GPT-6 Astra直接读取、修改甚至从零编写其他神经网络权重的能力。
研究人员提出了“权重空间编程”（Weight-Space Programming）的概念。
与通过数据和优化算法反复训练模型不同，这种方法让大语言模型直接分析另一个神经网络的参数，判断它学到了什么、存在什么问题，以及应该如何修改。
美国科技媒体VentureBeat在报道中，将其比作神经网络的“基因编辑”，认为这项研究探索了一种不同于传统微调和重新训练的模型优化方式。
研究团队设计了8组实验，有几个案例尤其值得关注。
比如，直接读取神经网络的权重。研究人员训练了四个结构完全相同、各拥有17,253个权重的神经网络，分别用于打砖块、乒乓球、吃豆人和过马路游戏。
他们只向Astra提供原始权重，不告知游戏名称，也不允许运行网络。结果，Astra准确识别了全部四个网络对应的游戏。
在另一项实验中，研究人员提供了三个约720万参数的Transformer模型权重，分别使用Python代码、英语和日语罗马字文本训练。Astra不仅判断出了各自的训练语言，还识别了负责复制上下文信息的注意力头。
另一个案例是，修复一个长期训练失败的汽车控制模型。
实验中的虚拟汽车需要先倒车，再加速冲上斜坡。但经过10亿步PPO强化学习训练，汽车始终无法掌握这一策略，只会直接冲向斜坡并卡住。
研究人员向Astra提供了网络权重、任务描述和一次失败记录。Astra没有重新训练模型，而是一次性修改了3.5%的权重。
修改后的汽车在1024次测试中全部成功，成功率达到100%。
再比如，让AI直接编写神经网络。
研究人员要求Astra根据游戏规则，从零生成神经网络权重，不使用训练数据、梯度下降或强化学习。
在打砖块游戏中，Astra直接编写的网络获得517.4分，而经过1亿步PPO训练的网络只有15.8分。即使与训练5亿步、获得25.3分的PPO网络相比，前者仍领先约20倍。
在Seaquest和Asterix游戏中，Astra同样超过了训练1亿步的对照模型，但没有全面超过训练5亿步的模型。
研究人员还让Astra为一个约148万参数的围棋网络直接编写权重。在允许有限次数测试后，该网络击败了经过2000万局训练的同规模PPO网络。
最受关注的实验，则发生在阿里巴巴的Qwen3.5-0.8B模型上。
这个约8亿参数的模型存在严重的重复推理问题，回答数学题时经常陷入循环，直到耗尽输出Token。
Astra分析权重及测试反馈后，将问题定位到第15层和第19层MLP中的特定方向，并直接修改了131072个权重，仅占模型总参数的0.016%。
修改后，Qwen在MATH-500测试中的成绩从7.9%提高到48.1%，GSM8K从13.8%提高到67.1%，指令遵循测试IFEval从21.0%提高到62.3%。
与此同时，数学回答触及Token上限的比例从93.0%下降至33.1%。
整个过程没有使用梯度下降，也没有进行传统意义上的重新训练。
当然，成绩提高约6倍并不意味着模型获得了6倍的数学知识，Astra主要修复了阻碍模型正常回答的重复推理故障，使其已有能力得以发挥。
如果这种方法能够得到进一步验证，开发者未来可能通过直接修改权重来诊断故障、调整模型行为，而不必每次都进行传统微调。
但这种方法是否更便宜、更高效，目前尚无定论。
以Qwen实验为例，虽然最终只修改了极少量参数，但Astra进行了158轮交互、80次Python运行，整个过程历时20.3小时，其中包括4.7小时的服务中断等待。
研究也存在失败案例。Astra未能明显改善另一个没有严重重复推理问题的Gemma 3 270M模型，也无法仅凭原始权重可靠识别模型的迎合行为。
技术评论者@1a3orn据此指出，研究证明AI可以修复明确的推理故障，但尚未证明能够直接创造新的推理能力。
PauseAI首席执行官Maxime Fournes认为，如果AI能够可靠地直接修改其他AI的权重，可能加速AI能力进步，并带来新的安全风险。
论文作者之一 Takehi表示，未来神经网络权重可能像代码一样，由大语言模型直接阅读、诊断和修改。
但目前这项研究尚未经过独立复现，也没有证明权重空间编程可以替代传统训练。
