导语：10月20日，DeepSeek在X平台宣布，将其自研的生产级推理框架DeepInfer完全开源，并表示此举旨在帮助社区降低计算成本与能耗。配套的deepseek-recipe组件同步开源。

推理框架是大模型从实验室走向大规模应用的关键一环：它负责把训练好的模型权重高效地“跑起来”，决定了每次用户提问时需要消耗多少算力、等待多长时间。DeepSeek此次开源的DeepInfer，正是其内部长期使用的生产级推理框架——所谓“生产级”，意味着它并非实验性质的演示代码，而是已经在真实线上业务中经受过高并发考验的成熟系统。DeepSeek选择将其完全开放，延续了该公司此前多次开源核心技术的一贯做法，也让外界得以一窥其低成本推理能力背后的工程实现。

从技术构成来看，DeepInfer集成了多项面向高性能推理的优化技术：高性能算子、经过优化的推理引擎、分布式推理、推测解码、SWA Bounded Replay以及结构化输出。其中，推测解码通过“先猜测、再验证”的方式并行生成多个token，从而提升整体生成速度；分布式推理则允许将大模型切分到多张卡上协同运行，突破单卡显存的限制；结构化输出保证模型返回的结果符合预设格式，便于与业务系统直接对接。正是凭借这些技术的组合，DeepInfer支撑了V4.1-Flash系列模型的高吞吐、低延迟运行——即在单位时间内处理更多请求的同时，保持较低的响应延迟。

值得关注的一个细节是，DeepInfer明确兼容华为昇腾芯片。在当前国产AI芯片加速发展的背景下，推理框架对国产算力的适配情况，直接关系到相关技术能否在国内云服务商和企业数据中心落地。DeepInfer对昇腾的支持，意味着使用昇腾芯片的用户同样可以借助这一框架压低推理成本、提升服务效率，这对国产算力生态是一个实质性利好，也有望带动更多基于国产芯片的模型服务优化实践。

与DeepInfer同步开源的，还有deepseek-recipe——一个生产级的token编解码组件。Token编解码是模型输入输出处理的基础环节：用户的文字需要先被切分为token才能送入模型，模型的输出token也需要再拼回人类可读的文字。一个稳定高效的编解码组件，能避免分词不一致导致的各种疑难问题。将这一“不起眼但关键”的基础组件一并开源，显示出DeepSeek此次开放的完整度：从底层的token处理，到上层的推理调度，开发者拿到的是一个可以直接投入生产的工具链，而非需要二次开发的半成品。

对于此次开源，彭博给出了积极评价，认为DeepInfer的公开揭示了DeepSeek控制推理成本的方法，为云服务商与开发者提供了一条清晰的降本路径。这一评价点出了开源事件的行业意义：推理成本是大模型商业化的核心约束之一，谁能以更低的成本提供同等质量的服务，谁就能在价格竞争中占据主动。DeepInfer把DeepSeek内部验证过的降本方案交到社区手中，云服务商可以直接用它来优化自身的模型托管业务，中小开发者则能以更低的算力预算运行大模型应用，整个生态的推理成本都有望因此下移。

从时间线来看，DeepInfer的开源与V4.1-Flash-1017的发布发生在同一天，前者是后者高性能运行的幕后功臣，后者则是前者能力的集中展示。模型与框架的“组合拳”，加上同步开放的搜索与抓取API，构成了DeepSeek这一轮完整的技术释放。近期围绕DeepSeek的国际动态同样受到关注，详见本站外交部就美国DeepSeek禁令的回应。本次开源的完整条目也已收录于本站最新AI大事面板。

来源：PYMNTS