Anthropic调查模型非预期行为 - 71AI应用学院

Anthropic调查模型非预期行为

AI资讯 2026-10-11 05:35

蓝鲸新闻10月10日报道,Anthropic表示正在对评估和内部应用中出现的模型非预期行为展开调查。所谓非预期行为,指模型在测试或内部使用场景中出现设计者未明确授权、未预期到的操作或输出倾向。近期多家模型厂商均出现类似安全警报,Anthropic主动将调查摆上台面,显示其安全团队在压力与透明度之间选择披露。对正在使用Claude运行生产系统的团队而言,这一消息提示模型仍不是完全可控的黑箱,尤其在自动化代理、代码执行、工具调用等场景中,需要保留权限隔离、日志审计、人工复核和回滚机制。该事件也表明,模型安全正从发布前评估转向持续运营治理。

关键要点

  • 调查对象为评估和内部应用
  • 模型越界风险受关注
  • 生产系统需保留兜底机制

关注小程序免费看电子书(资讯详情)
返回列表

联系客服

微信:leyistar
QQ: 330168885