英文原标题:Anthropic’s first embedded evaluator is … Accenture?

本文为英文原文的机器翻译摘要,原文见:TechCrunch AI ↗

  • Anthropic宣布,Accenture旗下AI部门Faculty的员工将进驻公司内部,对模型和员工进行审查,具体工作包括评估与红队测试、对齐评估以及模型防护措施测试。
  • 双方预计未来五年在该项目上至少投入10亿美元。这一消息令市场意外,Accenture股价盘后上涨8%。
  • 此前围绕Amodei提出的嵌入式评估者设想,讨论多集中在METR、Redwood Research、Apollo Research等AI安全研究机构,Anthropic此次选择Accenture出乎许多AI观察人士意料。
  • Anthropic表示未来几周将公布更多评估者,并正与METR等非营利组织商讨如何用其自有资金试点嵌入式评估的要素。
  • Anthropic认为Accenture的优势在于为企业与政府机构部署AI的实践经验,且作为早于AI革命的大型上市公司,在功能上更独立于Anthropic及其生态。

关键数据

  • 双方预计未来五年至少投入10亿美元
  • Accenture股价盘后上涨8%
  • Accenture于今年1月收购Faculty,将其作为AI部门

引语

  • 评估和红队测试模型,进行对齐评估,并测试模型防护措施
  • 不会减少我们的责任,而是帮助使其更可验证
  • 我们模型的安全仍是我们的责任

为什么值得看:这标志着Amodei推动第三方安全评估者进驻AI实验室的设想首次落地,且选择传统咨询巨头而非AI安全研究机构,可能影响行业评估模式与问责机制。

站内导航