4月14日，DeepSeek 在其 GitHub仓库发布预告称，即将开源推理引擎DeepSeek Inference Engine。
DeepSeek 在其声明中所述：”几周前，在开源周期间，我们开源了几个库。社区的反响非常积极——激发了令人鼓舞的合作、富有成效的讨论和宝贵的错误修复。受此鼓舞，我们决定再迈出一步：将我们的内部推理引擎回馈给开源社区。”
几周前， 在开源周期间， 我们开源了几个库。 社区的反应非常积极 – 激发了鼓舞人心的合作，富有成效 讨论和有价值的错误修复。 受此鼓舞，我们决定再向前迈出一步：将我们的内部推理引擎贡献回给开源社区。
我们非常感谢开源生态系统，没有它，我们就不可能朝着 AGI 迈进。 我们的训练框架依赖于 PyTorch，并且构建了我们的推理引擎 在 vLLM 上， 这两者都有助于加速 DeepSeek 模型的训练和部署。
鉴于对部署 DeepSeek-V3 和 DeepSeek-R1 等模型的需求不断增长，我们希望尽可能多地回馈社区。 虽然我们最初考虑开源我们完整的内部推理引擎，但我们发现了几个挑战：
代码库分歧：我们的引擎基于一年多前 vLLM 的早期分支。虽然在结构上 同样，我们已经为 DeepSeek 模型进行了大量定制，使其难以扩展到更广泛的用例。
基础设施依赖关系：该引擎与我们的内部基础设施（包括集群）紧密耦合 管理工具，使其不进行重大修改就无法进行公共部署。
有限的维护带宽：作为一个专注于开发更好模型的小型研究团队，我们缺乏带宽来 维护一个大型开源项目。
考虑到这些挑战，我们决定与现有的开源项目合作，作为更可持续的替代方案。
展望未来，我们将与现有的开源项目密切合作，以：
提取独立功能：将可重用组件模块化并作为独立库提供。
共享优化：直接提供设计改进和实施细节。
我们非常感谢开源运动 – 从操作系统和编程语言到机器 学习框架和推理引擎。很荣幸能为这个繁荣的生态系统作出贡献并看到我们的模型 以及社区所接受的代码。让我们一起突破 AGI 的界限，确保其优势惠及所有人。
注意为了澄清起见，本文仅概述了我们开源 DeepSeek-Inference-Engine 代码库的方法。 对于未来的模型发布，我们对开源社区保持开放和协作的立场 和硬件合作伙伴。 我们承诺在新模型发布之前主动同步与推理相关的工程工作，使用 使社区能够从第 0 天开始获得最先进的 （SOTA） 支持的目标。我们的最终目标是培养 同步生态系统，可以在不同的硬件上无缝实现尖端的 AI 功能 平台。
这种开源方式获得了 vLLM 官方的高度认可，vLLM 在转发 DeepSeek 的相关动态时附言：🙏 @deepseek_ai 的高性能推理引擎是建立在 vLLM 之上的。现在他们正在以正确的方式开源引擎：不是创建一个单独的仓库，而是将变更带给开源社区，这样每个人都可以立即受益！
此次开源推理引擎路径的公布，是 DeepSeek 在开源道路上的又一重大举措，有望进一步提升其在全球 AI 领域的影响力，为开源社区的发展注入新的活力，推动整个人工智能技术的进步。
