英文原标题:Anthropic warns that it’s very close to RSI capability, aka self-building AI

本文为英文原文的机器翻译摘要,原文见:TechCrunch AI ↗

  • Anthropic在修订后的S-1A文件中警告,公司可能即将达到其内部定义的“递归自我改进”(RSI)能力阈值,即AI能显著加速自身研发。
  • 文件新增风险因素指出,Anthropic已使用AI开发新模型,并曾未及时识别能力跃升;未来也可能在加速发生后才察觉。
  • Anthropic强调目前没有任何模型越过RSI门槛,并承诺在可预见的未来保持人类对研发过程的监督与控制。
  • 公司正考虑更新其Responsible Scaling Policy,以确保人类在 frontier model 开发中保持控制权。
  • 文章提到,怀疑者可能认为S-1兼具披露与营销功能,但Claude在编程、数学和网络安全方面的能力今年确实大幅提升。

关键数据

  • Anthropic在修订后的S-1A中更新了财务数据,收入飙升但支出也上升。
  • 文件称内部估计和未来模型预期表明,可能即将满足RSP对“dramatically accelerated progress attributable to AI”的定义。
  • Anthropic表示尚未将任何当前模型指定为超过该阈值。

为什么值得看:Anthropic在官方文件中首次明确接近RSI阈值,这关系到AI安全治理与人类对前沿模型开发的控制权。

站内导航