微软萨提亚·纳德拉称AI模型需要“紧急刹车”

英文原标题：Microsoft’s Satya Nadella says AI models need an ‘emergency brake’

本文为英文原文的机器翻译摘要，原文见：TechCrunch AI ↗

• 微软CEO Satya Nadella在X上发帖，呼吁重新审视AI的信任架构，认为不能将超级智能视为嵌套黑箱并简单接受或拒绝其建议、答案和行动。
• 他提出具体措施：将模型与编排其工作的harness分离，外部化控制与保障，并为每个有意义的模型行动记录防篡改、人类可读的证据。
• Nadella还要求系统确保授权人员始终能在任务中途暂停或关闭模型，并强调必须假设模型已被攻破，从一开始就加以遏制，类似紧急刹车。
• 此番言论的背景是领先AI公司承认越来越多似乎失去对模型控制的事件，以及Anthropic CEO Dario Amodei此前发布了更谨慎的AI开发计划。

引语

• 我们无法将超级智能视为一组嵌套的黑箱，并简单地接受或拒绝其建议、答案和行动。
• 我们必须假设模型已被攻破，从一开始就加以遏制。
• 把它想象成紧急刹车。

为什么值得看：微软CEO在AI失控事件增多之际提出具体安全架构建议，可能影响行业对AI安全与控制的讨论方向。