英文原标题:OpenAI wants to stop deepfakes from overwhelming child abuse tiplines

本文为英文原文的机器翻译摘要,原文见:The Verge AI ↗

  • OpenAI宣布推出一款分类器,旨在帮助儿童性虐待调查人员更高效地识别有害材料,包括判断图像是否为AI生成。
  • 该工具将免费提供给经过审核的组织,同时OpenAI为开发者提供检测此类内容的指导,并协助培训执法部门利用AI进行调查。
  • 近年来,AI生成的儿童性虐待图像激增,给NCMEC的CyberTipline带来巨大压力。2025年该热线收到40万份与生成式AI相关的报告,较2024年的6.7万份呈指数级增长。
  • OpenAI称其分类器大幅减少了误报,标记的图像数量减少了48%,而标记出的图像中包含虐待材料的可能性是原来的两倍。这是首个广泛可用且带有AI生成内容特定标记的CSAM分类器。
  • OpenAI的ChatGPT图像生成器会拒绝生成CSAM的请求,并新增警告和首次违规24小时暂停访问的措施,同时提供支持资源。OpenAI表示会向NCMEC报告所有CSAM实例。

关键数据

  • 2025年CyberTipline收到40万份生成式AI相关报告,2024年为6.7万份
  • 分类器标记的图像数量减少48%,标记图像含虐待材料的可能性是原来的两倍
  • 48个州已立法应对AI深度伪造的性明确内容
  • 首次违规将触发24小时ChatGPT访问暂停

引语

  • “这种分类至关重要”
  • “它可能会侵蚀针对儿童犯罪的社会规范”
  • “这仍然基本上是一个实验”

为什么值得看:AI生成的儿童性虐待材料激增正使举报系统不堪重负,OpenAI的新工具和行业合作尝试为应对这一新兴危害提供了预防性方案。

站内导航