英文原标题:Anthropic’s first embedded evaluator is … Accenture?
本文为英文原文的机器翻译摘要,原文见:TechCrunch AI ↗
- Anthropic宣布,Accenture旗下AI部门Faculty的员工将进驻公司内部,对模型和员工进行审查,具体工作包括评估与红队测试、对齐评估以及模型防护措施测试。
- 双方预计未来五年在该项目上至少投入10亿美元。这一消息令市场意外,Accenture股价盘后上涨8%。
- 此前围绕Amodei提出的嵌入式评估者设想,讨论多集中在METR、Redwood Research、Apollo Research等AI安全研究机构,Anthropic此次选择Accenture出乎许多AI观察人士意料。
- Anthropic表示未来几周将公布更多评估者,并正与METR等非营利组织商讨如何用其自有资金试点嵌入式评估的要素。
- Anthropic认为Accenture的优势在于为企业与政府机构部署AI的实践经验,且作为早于AI革命的大型上市公司,在功能上更独立于Anthropic及其生态。
关键数据
- 双方预计未来五年至少投入10亿美元
- Accenture股价盘后上涨8%
- Accenture于今年1月收购Faculty,将其作为AI部门
引语
- 评估和红队测试模型,进行对齐评估,并测试模型防护措施
- 不会减少我们的责任,而是帮助使其更可验证
- 我们模型的安全仍是我们的责任
为什么值得看:这标志着Amodei推动第三方安全评估者进驻AI实验室的设想首次落地,且选择传统咨询巨头而非AI安全研究机构,可能影响行业评估模式与问责机制。