新闻要点：Moonshot AI开源KVCache组件Mooncake完成版本更新，适配腾讯网络团队RDMA原生多轨数据平面，优化显存、内存之间高速数据搬运，提升大模型分布式推理并发能力。信息来源：GitHub KVCache‑AI专家独家分析：KVCache优化已经成为大模型降本的核心方向，RDMA改造可以有效降低分布式推理通信开销，该开源成果将利好国内自建推理集群企业，降低大模型服务部署成本。 返回列表 上一篇 下一篇
