英文原标题:An OpenAI safety employee has quit and is sounding the alarm

本文为英文原文的机器翻译摘要,原文见:The Verge AI ↗

OpenAI 安全报告撰写者 David Robinson 本周辞职,并在《大西洋月刊》发表评论文章,警告 AI 行业文化存在根本性问题,需要类似核电站或机场的多层冗余保障。

Robinson 辞职与发声

David Robinson 曾负责为 OpenAI 每次重大模型发布撰写安全报告。本周他辞去职务,并在《大西洋月刊》发表评论文章,公开表达对 AI 安全风险的担忧。

  • Robinson 是 OpenAI 安全报告的主要撰写者。
  • 他辞职后通过《大西洋月刊》发声。

行业文化问题

Robinson 认为行业文化已根本性破裂,问题比简单增加规则或监管更深层。他指出硅谷以极度自信和持续冲刺的方式运作,在无阻碍的乐观主义下构建更大更好的模型,忽视或低估潜在问题。

  • 行业文化被描述为根本性破裂。
  • 硅谷文化强调极度自信和持续冲刺。
  • 无阻碍的乐观主义导致忽视潜在问题。

呼吁谦逊与外部视角

Robinson 表示 AI 公司需要培养谦逊感,并跳出科技行业封闭的快速行动、打破常规的世界。他强调 AI 需要核级别的安全保障。

  • AI 公司应培养谦逊感。
  • 需要跳出科技行业的封闭思维。
  • AI 需要核级别的安全保障。

核电站级别的安全措施

Robinson 具体指出,鉴于当前风险,前沿实验室应像核电站或繁忙机场一样运行,具备多层冗余和谨慎耗时的规划,以确保偶尔且不可避免的人为错误不会打开灾难之门。

  • 前沿实验室应像核电站或机场一样运行。
  • 需要多层冗余和谨慎耗时的规划。
  • 目标是防止人为错误导致灾难。

AI 安全人员离职潮

Robinson 是越来越多离开知名 AI 公司的研究人员和安全工作者中的最新一位。Jacob Coxon 似乎开启了这波离职潮,他离开 Anthropic 后公开表示 AI 可能在本十年末杀死我们所有人。随后 Google DeepMind 的 Robert O'Callahan、Bilal Chughtai 和 Josh Engels,以及 Anthropic 的 Joe Benton 也相继离职。

  • Jacob Coxon 离开 Anthropic 并公开警告 AI 风险。
  • Google DeepMind 的 Robert O'Callahan、Bilal Chughtai 和 Josh Engels 离职。
  • Anthropic 的 Joe Benton 离职。

站内导航