DeepSeek V4.1-Flash-1017更新后，ISTA研究团队发布2比特量化版本，llama.cpp已合入支持。社区实测单张5090可达约每秒10 token，使原本需要服务器集群运行的大模型能力向消费级GPU下沉。该进展对半导体行业的意义在于，推理需求不再只集中于数据中心高端加速器，也可能拉动消费级显卡、边缘设备和内存带宽需求。量化、稀疏激活与KV缓存优化正在改变AI算力配置方式。 关键要点2比特量化降低部署门槛单张5090可运行大模型推理需求向消费级硬件延伸 返回列表 上一篇 下一篇
