CWE-bench v2：更广的覆盖范围、更高的质量与透明度

英文原标题：CWE-bench v2: More coverage, quality, and transparency

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

• CWE-bench v2 由 Collinear AI 发布，公开 100 个安全漏洞修复任务，覆盖 91 种 CWE，旨在测试前沿模型的网络安全能力。
• 任务设置：智能体获得真实开源仓库的检出和简短指令，需在不破坏现有功能的前提下发现并修复安全弱点；评分完全程序化，结果确定且可复现。
• 每个任务经过人工审查，并借助 LLM 评审小组确保指令真实、评分公平且能防止记忆已知补丁；另设保留集用于跟踪模型未见过的任务进展。
• 在 11 个评估模型中，Gemini 4 Argon 以 67.8% pass@1 和 81.0% pass@4 领先，Claude Opus 5.5 以 67.3% pass@1 紧随其后；95 个任务至少被一个模型解决，但领先模型仍有 19% 的任务在所有尝试中失败。
• 成本方面，DeepSeek V4.1 Flash、Claude Opus 5.5 和 Gemini 4 Argon 构成帕累托前沿；任务以 Harbor 任务形式发布，可通过 Hugging Face 仓库直接运行，并标记为 rl-environment 可用于训练防御性智能体。

关键数据

• 100 个任务覆盖 91 种 CWE
• 11 个模型参与评估
• Gemini 4 Argon: 67.8% pass@1, 81.0% pass@4
• Claude Opus 5.5: 67.3% pass@1, 78.0% pass@4
• 95 个任务至少被一个模型解决
• 领先模型仍有 19% 的任务在所有尝试中失败
• DeepSeek V4.1 Flash 达到 57.0% pass@1，每次 rollout 成本 $0.04
• Opus 成本 $1.83，Gemini 成本 $3.92

为什么值得看：CWE-bench v2 提供了一个公开、可复现且覆盖广泛的网络安全基准，能透明地衡量前沿模型在真实漏洞修复任务上的能力与成本权衡。