DeepSeek V4.1-Flash-1017维持552B主干，但预填充激活8B、解码激活16B，1M上下文下每token KV缓存仅890字节。结合2比特量化和llama.cpp支持，社区实测单张5090约每秒10 token。该进展显示，大模型推理不一定依赖大规模GPU集群，量化、稀疏激活和缓存优化可显著降低算力门槛。对企业用户而言，本地部署和边缘推理成本有望下降，云端算力需求结构也将从通用推理转向高端复杂任务。
关键要点
- 低KV缓存降低上下文成本
- 2比特量化支持本地部署
- 云端通用推理压力有望下降
