智谱今天没发新模型,发了一份施工记录。
9 月 17 日,唐杰在 X 上发了长文,同步转发技术博客《迈向递归自我改进:GLM 如何构建自己的推理基础设施》,公开了国内大模型公司头一个跑进生产环境的 RSI 实践。
任务很具体:在超过 10 万张国产 AI 加速器组成的集群上,从零搭一套能扛生产流量的推理服务。这个量级此前没人做过,生态不成熟,很多本该有文档的地方只能靠猜。
两周后服务跑起来了,端到端吞吐是最初基线的 3 倍,单 token 成本追到与主流 NVIDIA GPU 相当。大量工作是 GLM-5.3 驱动的 Infra Agent 干的。同月它以匿名模型 Ox-Alpha 上线 OpenCode 与 OpenRouter,一周内成为双平台调用量最大的模型。
01 卡住它的不是写代码
通篇读下来,唐杰最想讲的其实不是那 3 倍。
团队复盘时发现,真正卡住 Agent 的从来不是写代码,是改完之后拿到的反馈太粗。一次修改只换来一句「吞吐下降 20%」,它不知道该验证什么。
端到端指标只告诉它结果变差了,不解释为什么。于是他们把正确性测试、运行日志、执行 Trace、微基准全接进 Agent 的迭代流程,让每次改动都能拿到局部、便宜、可验证的反馈,他们管这叫「稠密反馈」。

02 它自己找到的问题
一个案例发生在算子精度上。Agent 发现 KDA 算子的上下文并行路径有数值漂移,长上下文下更明显,定位到 tl.dot 默认用 TF32 计算、误差逐层累积,改用 tf32x3 后修复,补丁已合进上游 Flash Linear Attention 的 PR #1180。
另一个是 KV Transfer 的并发瓶颈。它发现 Prefill + KV Transfer 比单独 Prefill 慢 20% 以上,远超 5% 的验收线,一路追到 Python/C++ 边界,查出 DeepEP 节点内路径没释放 GIL,修复后差距降到 1% 以内。

还有一个更巧。一个 Decode 算子把相同的归一化和 gating 计算重复了 4 次,重构后拿到 1.71 倍加速。
03 说到底
唐杰写了一句分量很重的话:GLM-5.3 已经成为团队每天离不开的编程伙伴,正一步步走向取代我们。
他还给了另一个判断,这句我觉得更值得记住:工程师的角色正在从「解决问题的人」,变成「设计反馈的人」。

GLM 团队没把话说满,明确表示这还不是完整意义上的 RSI,眼下只出现了一个最小循环:模型优化系统,系统服务模型。
但同一方向的几件事并排看,位置确实在挪:Anthropic 6 月披露 Claude 已写下其代码库 80% 以上的合入代码,OpenAI 9 月初宣布达成「自动化研究实习生」里程碑。
两周、10 万张卡、3 倍吞吐,这些数字过几个月就会显得平常。不太平常的是那句话本身:说出「正一步步走向取代我们」的人,正是亲手把它造出来的人。







