DeepInfer:DeepSeek 把自家线上服务的推理框架开源了
DeepInfer 是支撑 DeepSeek 大规模生产服务的推理框架,这次开源的是离线推理核心,首发支持 DeepSeek-V4.1-Flash。简单说:大模型厂商把自家「怎么把模型跑得又快又稳」的家底,拿出来给所有人用了。
GitHub 星 26,086Fork 3,2072026-10-16 开源X 首发动态 4.3 万赞
关键点
自家内核全家桶FlashMLA、DeepGEMM、DeepEP、DeepSelect 等 DeepSeek 自研内核都在里面,配 MoE 专家并行和 EPLB 负载均衡。
确定性推理支持批量不变性推理和确定性采样:同样输入必得同样输出,做评测和复现实验时这是刚需。
硬件支持 NVIDIA SM100 和华为昇腾 950;但要注意 KV 缓存、负载均衡等完整服务组件不在这次开源范围内,上手偏工程向。
为什么火
雷达的 X 存量里,它的首发动态是全场最热:4.3 万赞、674 万浏览;开源一个月冲到 2.6 万星。厂商把生产级基础设施开源,往往会带动一波生态跟进,值得提前占位了解。
怎么上手
GitHub 仓库有完整的特性与配置说明(环境变量开关都列了);适合有推理部署经验的团队评估,个人玩家建议先读 README 的支持范围再动手。