英文原标题:Introducing harness adapters: adapt your favorite model to your harness to improve performance and cost

本文为英文原文的机器翻译摘要,原文见:Hugging Face Blog ↗

  • 文章介绍“harness adapters”:在特定 agent harness 内用强化学习训练 LoRA 适配器,使模型在该 harness 和任务分布上更准确、更高效。
  • 以 Qwen3.8-27B 在 pi harness 上为例,Terminal-Bench 2.1 得分从 39% 提升到 55% pass@1,平均 token 用量从 2.9K 降至 1.5K,主要因为模型推理更少、工具调用更少且首次尝试表现更好。
  • 为 pi、Hermes Agent、OpenCode 三个 harness 各训练一个 LoRA 适配器,训练在 harness 内部进行,使用 TRL 的 AsyncGRPOTrainer、OpenEnv 和 harbor,数据与训练均在 Hugging Face Hub 上完成。
  • 三个 LoRA 可合并为一个 super adapter,在 pi、Hermes Agent 和 OpenCode 下无需修改即可运行。
  • 文章还详细介绍了自定义 RL 任务生成流程:结合 SWE-smith、SWE-Gym 和 Tasksmith 生成任务,并用 openenv validate 进行语义验证和难度筛选,最终 1,127 个候选任务中 858 个通过。

关键数据

  • Qwen3.8-27B 在 pi harness 上 Terminal-Bench 2.1 得分 39%,平均每任务 2.9K tokens;加入 RL 训练的 LoRA 后达到 55% pass@1,平均 1.5K tokens。
  • 训练使用的 harness 版本:Pi 1.5.2、OpenCode 2.2.7、Hermes Agent v0.22.6。
  • Hub 搜索 Harbor 环境得到约 59,000 个任务,经筛选后使用 SWE-smith、SWE-Gym 和 Tasksmith 生成的任务。
  • Tasksmith 从 30 个合并 PR 中生成 24 个通过检查的任务,涉及 10 个 Python 仓库。
  • openenv validate 验证中,1,127 个 Hub 候选任务有 858 个通过。

引语

  • “harnessed agentic RL”

为什么值得看:文章提供了一套可复用的配方,让开发者能在自己的任务、harness 和模型组合上通过 RL 训练适配器,从而同时提升性能和成本效率。

站内导航