DeepSeek将支撑大模型生产服务的内部推理框架DeepInfer开源，同步放出与官方API对齐的token编解码组件。该框架支持分布式推理、推测解码、结构化输出等能力，并已用于V4.1 Flash服务，单集群日吞吐达155万亿token。其同时兼容英伟达GPU与华为昇腾芯片，使团队在国产算力迁移时减少适配工作。此举意味着开源大模型竞争从权重开放走向推理底座开放，对推理成本优化和算力生态建设具有实际意义。
关键要点
- 开源推理框架DeepInfer
- 兼容英伟达与华为昇腾
- 单集群日吞吐155万亿token
