导语：10月20日，DeepSeek正式开源其内部推理框架DeepInfer，21日引发行业集中报道。据官方披露，该框架已在DeepSeek内部生产环境长期运行，单个集群日均处理Token量达到155万亿。DeepInfer整合了分布式推理、推测解码与缓存复用等关键技术，支持DeepSeek V4.1 Flash等模型，并兼容英伟达SM100与华为昇腾950两种硬件体系。

DeepSeek此前一直以模型能力见长，而推理侧的系统工程此前并不为人所熟知。DeepInfer的开源，等于把这家公司处理超大规模并发请求的”内功”摆到了台面上。155万亿Token的日处理量，是一个很难用日常直觉衡量的数字：按照业界粗略换算，这大致相当于每天处理上万亿个汉字词元，背后是数十万乃至更高规模的并发请求。能在一个集群内稳定吃下这样的吞吐，意味着DeepInfer在请求调度、显存管理与算子优化上都做了相当深的工程。

从技术构成看，DeepInfer把几条当前主流的推理加速路线收拢到了一起。分布式推理负责把庞大的模型参数和计算量拆分到多张卡上并行处理；推测解码则通过小模型”猜答案”、大模型”验答案”的方式压缩生成延迟；缓存复用利用KV Cache等机制，避免重复计算已经生成过的内容。这三者的组合并不新鲜，但工程细节的打磨程度直接决定了最终能兑现多少性能。DeepSeek选择把这些封装成一个完整框架，而不是散装地开源几个优化点，说明它已经形成了一套可复制、可部署的工程体系。

硬件兼容性是这轮开源最受关注的部分之一。DeepInfer同时支持英伟达SM100架构与华为昇腾950，意味着用户可以在两种主流算力生态中选择部署方案。在算力供给格局日趋多元的背景下，这种”不押注单一硬件”的策略，为国内推理服务商提供了更多的选择空间。熟悉推理工程的人都知道，框架与硬件的适配从来不是免费午餐——不同的互联拓扑、不同的显存容量、不同的算子库，都需要大量适配工作。DeepInfer能同时兼容两条路线，说明其抽象层设计得比较扎实。

除了DeepInfer，DeepSeek还同步开源了deepseek-recipe。这套工具的定位更偏向”生产配方”：把训练和推理环节的工程经验沉淀为可直接套用的最佳实践。对很多中小团队而言，模型权重只是起点，真正耗时间的恰恰是把模型跑稳、跑便宜的工程细节。deepseek-recipe的出现，等于把DeepSeek内部的工程手册也开放了出来，这对开源生态的友好度不低。

把DeepInfer放回DeepSeek近期的节奏里看，会发现一条清晰的线索。10月17日，DeepSeek刚刚上线了V4.1 Flash版本并提供搜索API，强调低延迟与高并发场景；而DeepInfer正是支撑这类服务落地的底层框架。模型能力向前一步，推理基础设施就必须同步跟上一步，这两件事本就是一枚硬币的两面。昨日披露的DeepInfer开源消息更偏向首发通告，而今日进一步披露的155万亿Token日处理量等生产数据，则回答了外界最关心的问题：这套框架不是实验室玩具，而是经过真实流量检验的生产级系统。

开源推理框架的意义，不止于技术分享。在大模型竞赛进入下半场之后，成本效率正在成为与模型能力同等重要的竞争维度。谁能用更低的成本服务更多的Token，谁就能在价格战和应用落地中占据主动。DeepSeek把内部验证过的推理框架开源，一方面降低了全行业的推理成本门槛，另一方面也延续了它”以开源带动生态、以生态反哺自身”的打法。接下来值得观察的是，社区会在多大程度上参与到DeepInfer的迭代中——是仅仅拿来用，还是真正形成共建。

当然，开源只是一个起点。生产级推理框架的运维复杂度并不低，版本迭代、硬件适配、安全合规等问题都需要持续投入。DeepSeek能否像维护模型一样长期维护这套框架，将直接决定它的生命力。但无论如何，一家顶级模型公司愿意把压箱底的推理系统拿出来，对整个行业都是一件好事。

想了解今日AI圈更多要闻，可查看今日AI动态面板。

来源：投资界