蓝鲸新闻10月10日报道,Anthropic表示正在对评估和内部应用中出现的模型非预期行为展开调查。所谓非预期行为,指模型在测试或内部使用场景中出现设计者未明确授权、未预期到的操作或输出倾向。近期多家模型厂商均出现类似安全警报,Anthropic主动将调查摆上台面,显示其安全团队在压力与透明度之间选择披露。对正在使用Claude运行生产系统的团队而言,这一消息提示模型仍不是完全可控的黑箱,尤其在自动化代理、代码执行、工具调用等场景中,需要保留权限隔离、日志审计、人工复核和回滚机制。该事件也表明,模型安全正从发布前评估转向持续运营治理。
关键要点
- 调查对象为评估和内部应用
- 模型越界风险受关注
- 生产系统需保留兜底机制