DeepSeek开源提速,量化后单张消费级GPU可运行 - 71AI应用学院

DeepSeek开源提速,量化后单张消费级GPU可运行

AI资讯 2026-10-31 05:38

DeepSeek开源更新V4.1-Flash-1017,终端基准4.0从31.2提升到42.3,DeepSWE得分77.0,超过Opus 5的74.0。模型维持552B主干,预填充激活8B、解码激活16B,在1M上下文下每token KV缓存仅890字节。ISTA团队随后发布2比特量化版,称精度与原版接近,llama.cpp已合入支持。社区实测单张5090约每秒10 token,显示大模型推理正加速向消费级硬件下沉。

关键要点

  • 终端基准与代码能力明显提升
  • 2比特量化版降低部署门槛
  • 单张5090可运行大模型

关注小程序免费看电子书(资讯详情)
返回列表

联系客服

微信:leyistar
QQ: 330168885