Collinear AI 与 Hugging Face 联合发布了 CWE-bench v2，旨在测试前沿模型在网络安全领域的极限能力。该基准开放了一个包含 100 个任务的公开数据集，允许任何人运行并评估其模型性能。
CWE-bench v2 延续了之前的设置：代理（Agent）接收一个真实开源代码库的检出版本以及简短指令，目标是定位并修复安全漏洞，同时确保不破坏现有功能。所有程序检查均在 LLM 法官小组的协助下完成策划。为了持续跟踪未泄露给模型的任务进展，团队维护了一个持久化数据集。如需评估模型，可联系 cyber@collinear.ai。
该基准强调全面性，要求防御者预测攻击者的多种入侵路径。这 100 个任务涵盖 91 种不同的 CWE（常见弱点枚举），涉及广泛的脆弱类别。成功的模型必须识别潜在攻击者可利用的多个弱点，仅凭熟悉模式已不足以应对。
为确保质量，每项任务均经过人工审核，重点验证以下问题：
- 指导语是否模拟现实场景而非单纯的评估设置？
- 分级行为是否均可从指令中推断得出？
- 验证器是否检查正确行为，而非固定特定结构？
- 启动代码是否失败，而参考修复方案是否通过？
- 原始功能在新修复后是否仍保持可用？
- 验证器是否会遗漏已知解决方案（如上游补丁）？
评测结果
结果追踪分为两个渠道：CWE-bench 数据集页面的排名表主要涵盖开放权重模型，实验室和社区可通过提交 PR 添加结果文件；完整的比较（包括 Gemini、Claude 和 GPT 等仅 API 模型）则在 CWE-bench 排行榜空间中进行。
在参与评估的 11 个模型中，Gemini 4 Argon 以 67.8% 的 pass@1 和 81.0% 的 pass@4 领先于 Claude Opus 5.5（pass@1 为 67.3%，pass@4 为 78.0%）。数据显示，95 个任务至少有一个模型能够解决，表明任务具有可行性。然而，即使是表现最佳的模型在单次尝试中仍有 19% 的失败率，说明长尾问题尚未完全解决。
在成本效率方面，DeepSeek V4.1 Flash、Claude Opus 5.5 和 Gemini 4 Argon 构成了帕累托边界：DeepSeek 以每次推出 0.04 美元的成本达到 57.0% 的通过率；Opus 以 1.83 美元的成本将通过率提升了 10 个百分点；Gemini 则以 3.92 美元的成本取得最高通过率。
运行方式
每个任务都是一个独立的 Harbor 任务（包含 Dockerized 环境、指令和确定性验证器），数据集附带一个 registry.json 文件。用户可以直接从 Hugging Face 仓库运行整个基准，无需自行克隆代码：
harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d cwe-bench@2.0 -k 4 \
--agent <agent> --model <model> --env docker \
--allow-agent-host <model API host>
报告的得分是所有 400 次尝试的平均奖励。由于数据集是封闭的，用户需首先在数据集页面接受访问条件。也可以将 HF 令牌存储到 Git 凭证助手中：
hf auth login --token $HF_TOKEN --add-to-git-credential
这些任务也被标记为 rl-environment，意味着相同的环境和验证人员不仅可用于评估，还可用于训练防御型模型以获得奖励信号。
