Mistral Large 4“大胖猫”进入公开预览，总参数规模达到1.05万亿，但每个token仅激活49B参数，支持100万上下文。Mistral称训练过程仅使用约4000块GPU，体现MoE架构在训练效率和推理成本上的优势。法国总统马克龙将其称为“第三条道路”。权重将在三周安全评估后开放，显示欧洲模型厂商试图以高效训练、开放评估和主权叙事参与全球大模型竞争。
关键要点
- Mistral Large 4总参数1.05T、每token激活49B
- 支持100万上下文，约4000块GPU训练
- 权重将在三周安全评估后开放
