10月20日，DeepSeek宣布将内部大规模推理框架DeepInfer全面开源，同步公开了支撑DeepSeek V4.1 Flash线上服务的运行数据。
技术报告披露，基于该框架的单一集群日吞吐达到155万亿Tokens，按谷电价计算，单卡每小时收入为38美元，约合人民币253.77元。以此测算，一张卡满负荷运行一天收入约6090元，一个月约18.27万元。
DeepInfer集成了高性能算子与推理引擎，支持分布式推理、推测解码和结构化输出，可在英伟达与华为昇腾平台运行。
线上部署采用Prefill与Decode分离架构，8卡服务器承担输入处理，64至128卡超节点负责逐Token生成，两个阶段独立配置资源，分别优化首Token延迟和生成间隔。
缓存方面，Block KVCache存储在约100 PiB的3FS分布式文件系统中，Agent流量的缓存保留3天，聊天场景保留7天，后续请求命中缓存时可跳过重复的Prefill计算。
Decode阶段采用投机解码，草稿模块一次预测多个Token并统一核对，线上吞吐较固定核对方式提升约6%。
此次开源的交付边界较为明确。官方仓库说明，发布内容提供离线推理及大规模服务所需的核心能力，但搭建完整在线服务仍需补齐KV缓存管理、推理阶段分离部署和跨副本负载均衡等组件。
KVCache管理与负载均衡代码因与内部基础设施耦合较深，未完整开放。DeepSeek表示，开源目的是分享大规模部署经验，帮助开发者优化吞吐与延迟，降低算力成本和能耗。
DeepInfer的实际降本幅度仍取决于硬件配置、业务负载和部署能力，目前尚无第三方独立测试数据。
