同一模型，不同框架：CUGA、Hermes 与 Deep Agents——何时选择 CUGA？

英文原标题：Same Model, Different Harness: CUGA, Hermes, and Deep Agents — When to Pick CUGA?

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

• 文章指出，agent harness 的选择与模型本身同样重要：在 awesome-agent-harness 等社区列表中，已有近 200 种 harness；引用的一项分析显示，同一 GLM-5.2 模型仅更换 harness，在 SWE-bench Pro 上的成绩就从 23% 提升到 52%。
• IBM 研究团队进行了一项受控实验：使用同一开源模型 GLM-5.3-flash，在 AppWorld 的 90 个任务（30 个场景）上分别运行 CUGA、Hermes 和 Deep Agents，所有运行均使用 Harbor 评估框架，配置公开在 harbor-eval 中。
• 结果显示，CUGA 的任务通过率为 81.1%（73/90），Hermes 为 46.7%（42/90），Deep Agents 为 30.0%（27/90）；在要求同一场景三个变体全部通过的 SGC 指标上，CUGA 为 66.7%（20/30），Hermes 为 26.7%（8/30），Deep Agents 为 6.7%（2/30）。
• 作者强调，这一结果并不否定 Hermes 和 Deep Agents：Hermes 面向常驻个人助理，Deep Agents 面向长链条多步任务，而 AppWorld 测试的是多应用 API 操作，因此 harness 必须与任务匹配。
• CUGA 在 AppWorld 配置中启用了任务分解、聚焦工具、工具短列表、CodeAct、沙箱、执行前验证、自动反思和分页审计等功能，使模型需要做的决策更少，harness 能在结果产生前拦截更多错误。

关键数据

• 近 200 种 agent harness
• 同一 GLM-5.2 模型仅换 harness，SWE-bench Pro 从 23% 到 52%
• AppWorld：9 个应用、457 个 API、90 个任务、30 个场景
• CUGA TGC 81.1%（73/90），SGC 66.7%（20/30）
• Hermes TGC 46.7%（42/90），SGC 26.7%（8/30）
• Deep Agents TGC 30.0%（27/90），SGC 6.7%（2/30）
• CUGA 配置需处理 469 个工具
• CUGA 曾于 2025 年 2 月至 9 月在 WebArena 排名第一，2025 年 7 月至 2026 年 2 月在 AppWorld 排名第一

引语

• the harness matters, not only the model
• A prompt is an instruction, not enforcement.

为什么值得看：文章用同一模型、同一基准的受控对比说明，harness 的选择可使任务完成率从 30% 升至 81%，并指出企业场景需要由运行时强制执行规则，而非仅依赖提示词。