10月20日发布并开源的记忆原生模型包含288B与36B两个版本,通过在指定Transformer模块中加入原生记忆模块,与原注意力并行运行,并以逐token更新机制实现擦除、写入与遗忘。模型在11项记忆基准中平均得分分别为50.6与47.0,位列参数化记忆方法前二。编程智能体在SWE-bench Verified上的成功率由66.07%提升至69.73%。在长历史场景下,其推理速度最高可达全上下文方式近四倍,为长程任务和智能体记忆管理提供新路线。
关键要点
- 加入原生记忆模块
- SWE-bench成功率由66.07%升至69.73%
- 长历史推理速度最高提升近四倍