DeepSeek V4.1-Flash-1017发布后，ISTA研究团队推出2比特量化版，称精度与原版持平，llama.cpp已合入支持。社区实测单张5090可运行，速度约每秒10 token。这一进展表明，通过MoE激活参数控制、KV缓存压缩和低比特量化，超大模型可在消费级GPU上获得可用推理能力。对半导体和GPU市场而言，端侧与开发者本地推理需求可能扩大高显存、高带宽消费级卡的应用边界，也为模型普及提供新路径。
关键要点
- 2比特量化版精度接近原版
- llama.cpp已合入支持
- 单张5090约每秒10 token
