AI 研究人员发布视频称超级智能“危险程度正如其名”

英文原标题：AI researchers put out videos saying superintelligence is ‘exactly as dangerous as it sounds’

本文为英文原文的机器翻译摘要，原文见：The Verge AI ↗

• 非营利组织Palisade Research在frominside.ai网站发布了一系列对AI研究者的访谈，受访者包括OpenAI、Google和Anthropic的现任及前任员工。
• 多位研究者警告AI可能导致人类灭绝：前OpenAI和Google DeepMind员工Geoffrey Irving称人类灭绝的概率“就像抛硬币”；Google DeepMind研究科学家Neel Nanda认为至少10%的概率会导致人类灭绝，并称这一比例高得离谱。
• 前OpenAI研究员Daniel Kokotajlo称超级智能AI将“像神一样强大”，但人类完全不知道如何控制它们，因此可能没人能控制，这种情况“必须被阻止”。
• 网站还汇总了多位受访者对“这是否只是炒作或营销”以及“为何要从事如此危险的工作”等问题的回应。
• Google的Mary Phuong表示，因为自己受雇于实验室，人们绝对应该怀疑她所说的话；Nanda则解释，如果他不相信自己的工作能直接降低这些生存风险，他就会辞职，但这些公司不会因为他辞职就停止开发这些系统。

关键数据

• Geoffrey Irving称人类灭绝的概率“就像抛硬币”。
• Neel Nanda称AI导致人类灭绝的概率“至少10%”。

引语

• “人类灭绝的概率在我看来就像抛硬币。”
• “至少10%的概率会导致人类灭绝，这高得离谱。”
• “超级智能AI将像神一样强大。”
• “我们完全不知道如何控制它们。”
• “这绝对应该被阻止。”
• “你绝对应该怀疑我说的话，因为我受雇于实验室。”

为什么值得看：这些来自OpenAI、Google和Anthropic等机构的研究者公开警告AI可能导致人类灭绝，并讨论了AI安全社区缺乏统一解决方案的现状。