【导读】DeepSeek全面开源核心推理框架DeepInfer
中国基金报记者 卢鸰
AI大模型巨头DeepSeek于10月20日宣布，在此前开源一系列大模型、TileLang编译工具及推理算子库的基础上，进一步将内部推理框架DeepInfer全面开源，并同步开源生产级Token编解码组件，与DeepSeek官方API处理逻辑完整对齐，确保社区获得与官方部署一致的API体验。
DeepInfer集成了高性能算子和深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，可在英伟达与华为昇腾平台上运行。
基于DeepInfer，DeepSeek已实现DeepSeek V4.1 Flash高吞吐、低延迟的大规模推理服务。未来，DeepSeek新模型的推理代码及后续优化也将在此持续更新。
据DeepSeek披露，目前单一集群的服务吞吐是155万亿Tokens/天，单卡每小时收入为38美元（按谷价，约合人民币253.77元）。以此粗略计算，一张卡24小时满负荷运行，每天收入为人民币6090.48元；一个月按30天计算，则月收入约为人民币18.27万元。
DeepSeek表示，希望通过分享内部的部署经验，帮助开发者与企业组织优化大规模推理的吞吐与延迟，从而高效构建私有化及公有云部署，降低算力成本、减少能源消耗，让智能以更低的价格触达更广泛的人群，实现真正的大模型普惠；借助全面开源的模型、算子库与推理框架，期待在不远的未来，能够看到全球AI服务的范围与质量获得前所未有的拓展与提升，变得更加公平、透明、可信赖，以每个人都能负担的成本传递更加强大的智能。
编辑：江右
校对：纪元
制作：舰长
审核：陈思扬
版权声明
《中国基金报》对本平台所刊载的原创内容享有著作权，未经授权禁止转载，否则将追究法律责任。
授权转载合作联系人：于先生（电话：0755-82468670）
