DeepSeek 发布了一个 open-source 推断引擎,为其最快和最便宜的AI型号提供动力.

百度描述: DeepSeek 开源的DeepInfer在 Apache License 2.0下,有助于更便宜地运行V4.1-Flash并增加对 OpenAI 和 Anthropic 的定价压力.

标签: DeepSeek , 深度推断,AI推理, vLLM , 阿帕奇许可 2.0

主要图片:抽象的技术风格,发光芯片和 open-source 网络,没有真实的人,没有公司标志,没有文字

DeepSeek 拥有开源的 DeepInfer,其内部推理框架在 Apache License 2.0 下.推断是训练有素 AI 的模型如何处理请求并生成响应,所以这次发布很重要,因为DeepInfer 是服务 software ,它让 DeepSeek 的 V4.1-Flash 模型能够快速地产生规模化的答案.这一步骤将一个内部服务工具转化为社区和自主托管 AI 工作负载的公共构建块.

背景:便宜的车型留下了一个服务缺口

DeepSeek 的模型已经很便宜了.然而,这种低的模型成本本身并没有解决它们运行的总费用.推断仍然取决于服务 software ,芯片使用以及在请求到达后一个模型能够快速生成文本.

DeepInfer填补了最后一个空白,使这些模型运行更便宜.它位于模型本身的下方:而不是改变 V4.1-Flash 的训练方式,它改变了训练模型的服务方式.这使得该版本对于任何试图降低大规模答案生成成本的人来说都很重要.

开发: vLLM 基础,芯片分布和与 API 兼容的配方

该框架建立在 vLLM 上,具有优化的计算内核,多个芯片的分布式处理和更快的文本生成技术.这些组件指向了为速度和效率而不是仅限于模型更新而设计的服务层.该版本不太关心使V4.1-Flash变得更加智能化,更多的是让它一旦经过训练后运行得更快更便宜.

DeepSeek 也正在发布 DeepSeek -recipe,它复制了官方的 token 处理 Deepseek API ,因此自主托管设置以同样的方式表现.这种兼容性层很重要,因为一个自主主机系统可以匹配官方 API 的 token -处理行为,减少托管使用和社区运营部署之间的差异.

最新进展:开放的未来模型代码和低成本目标

该公司在X上表示,其目标是"帮助社区降低计算成本,减少能源使用并使AI更实惠. "它还说未来的 DeepSeek 型号代码将以 open source 出货.这将DeepInfer与一个更广泛的开放发布路径联系起来:现在为 software 服务,以及将来的模型代码稍后.

此次发布增加了对 OpenAI 和 Anthropic 等西方提供商的定价压力. Because Deepseek 的模型已经很便宜,开放服务层可能使自主托管和社区运营成为托管供应商更直接的成本挑战. 鉴于中国与US之间的竞争,这一举动也可能是出于政治动机.

目前阶段:接下来要看什么

在这个阶段,公开的文物是DeepInferApache License 2.0,建立在 vLLM 上并绑定到V4.1-Flash服务. open-source 承诺还涵盖未来的 DeepSeek 模型代码和 DeepSeek -配方兼容性层.下一个测试将是这些部分是否实际降低计算成本并减少真正部署的能源使用,以及西方提供商是否感到足够的价格压力来应对.If Western AI公司错过了增长目标,这对US经济及其他领域构成风险.