英文原标题:OpenAI’s chief scientist has thoughts on how to limit AI development

本文为英文原文的机器翻译摘要,原文见:TechCrunch AI ↗

  • OpenAI首席科学家Jakub Pachocki发表博客,讨论如何限制AI发展速度,并提出以困惑度(perplexity)作为衡量AI进展的指标。
  • 此前,前OpenAI和Anthropic研究员称公司“拿我们的生命赌博”,Anthropic的IPO文件也提及技术可能带来“灾难性或存在性风险”,使放缓AI发展的话题升温。
  • Anthropic CEO Dario Amodei发布“pace the frontier”计划,呼吁企业同意“共同安全标准以及对不受控AI进展速度的限制”,似获Sam Altman和Elon Musk支持。
  • Pachocki认为,关注下游能力的基准测试已迅速过时,而困惑度(衡量模型平均预测下一个token的能力,越低越好)仍具信息量;他引用OpenAI模型自GPT-3.5以来困惑度下降的图表。
  • 他提出,困惑度可作为“通用智能的共享基准”,让AI公司据此设定“共同限制”,承诺在理解和监控AI行为达到具体里程碑前不越过某阈值。

关键数据

  • GPT-4的困惑度约为0.91
  • 当前损失已低于0.8
  • Altman称该博客是“OpenAI一段时间以来发布的最重要内容”

引语

  • “pace the frontier”
  • “a shared benchmark for general intelligence”
  • “common limits”

为什么值得看:这篇博客提出了一个可量化的AI进展指标,并设想以此为基础让AI公司承诺共同限制发展速度,直接回应了近期关于AI安全与放缓发展的争论。

站内导航