DeepInfer（DeepSeek 开源推理框架）

DeepInfer 是 DeepSeek 于 2026 年 10 月 16 日在 GitHub 开源的推理框架，采用 Apache-2.0 许可。官方称它就是支撑 DeepSeek 线上大规模生产服务的高性能推理引擎，这次放出的是面向离线推理的版本，仓库上线不到两周就拿到两万以上 star。当前支持的模型只有一个：DeepSeek-V4.1-Flash，默认权重为 deepseek-ai/DeepSeek-V4.1-Flash-1017。

特性包括深度优化的算子与采样运行时（FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 与 TileLang 自定义算子）、Attention DP 与均衡 CP、MoE EP + EPLB 并行、DSpark 投机解码与置信度调度验证、SWA 有界重放（decoder prefill 只重放有限后缀）、零开销异步批调度、批不变推理与确定性采样，以及 JSON Schema、正则、EBNF 约束的结构化输出。硬件支持 NVIDIA SM100 与华为昇腾 950 NPU；官方说明这一版不含 KV cache 系统、PD 分离与多副本负载均衡，要自己补齐才能组成完整服务，构建需要 GCC 13+、Python 3.12、CUDA 13 或 CANN 9.2。

• DeepSeek 官方开源，Apache-2.0，上线不到两周破两万 star
• 只支持 V4.1-Flash，同时支持 NVIDIA SM100 与昇腾 950 NPU
• DSpark 投机解码、SWA 有界重放、批不变推理、结构化输出