国模不生梁圣，万古如长夜。
其他几个国模唱真的要给梁文锋磕一个了。
今天DeepSeek又干了一件大事，直接把自己生产环境使用的核心推理框架DeepInfer开源了。
我已经数不清这是DeepSeek第几次把压箱底的东西放到GitHub上了。
从最开始的大模型权重，到FlashMLA、DeepGEMM、DeepEP，再到TileLang，现在连支撑DeepSeek大规模推理服务的核心框架都拿出来了。
而且这次开源的东西，含金量真的很高（严肃脸）。
分布式推理、MoE并行、推测解码、异步调度、SWA Bounded Replay、结构化输出，整个推理引擎里最核心的工程能力基本都在里面。
支持英伟达SM100和华为昇腾950，甚至还同步开源了与官方API处理逻辑对齐的Token编解码组件deepseek-recipe。
虽然当前开源版本主要支持离线推理，完整的线上服务还需要补齐KV Cache和负载均衡等基础设施，但这已经相当了不起了。
因为真正做过Infra的人应该都知道，大模型训练出来只是第一步，怎么让几千亿参数的模型稳定、高效、低成本地服务海量用户，背后是极其复杂的工程体系。
这里面的每一点性能优化，都是实打实的算力成本。
这些东西完全可以当成一家公司的核心技术壁垒，藏起来自己用。
但DeepSeek选择了开源，而且是Apache 2.0。
说实话，我现在越来越佩服梁文锋了。
这些年国内大模型行业一直在讨论追赶、竞争、商业化，大家忙着发榜单、卷价格、抢用户。
而DeepSeek从模型到算子，从编译工具到推理框架，一点点把自己积累下来的技术贡献给整个开源社区。
更难得的是，他们自己还在持续做前沿研究，持续迭代模型，持续把新的技术成果拿出来。
我觉得这是一件很有理想主义色彩的事情。
中国的AI行业能有这样一家企业，有这样一群工程师，真的挺幸运的。
每次看到DeepSeek开源，我都会觉得，至少在AI这件事情上，我们正在为全世界贡献一些真正有价值的东西。
国模不生梁圣，万古如长夜。
梁圣牛逼，DeepSeek牛逼。
开源地址：https://github.com/deepseek-ai/DeepInfer
