将数据库评分转化为强化学习奖励：用 ThinkingBox 训练智能体

英文原标题：Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

• ThinkingBox 通过对比最终数据库状态与预期结果来评估 agent 的工作，并将这种可执行检查（返回 1 或 0）直接用作强化学习训练中的奖励函数。
• 研究团队从 ThinkingBox-Bench 之外构建训练任务池，采用“离线策略相对难度”方法：训练前用基础策略估计每个任务的成功概率，并固定选定的训练池。
• 对 Qwen3.8-27B 使用 GRPO 训练 50 步后，平均成功率（pass@1）从 51.70% 提升至 60.78%，在全部 20 次尝试中都正确的任务数从 38 个增至 107 个。
• 训练显著提升了可重复成功率，但至少成功一次的任务数（pass@20）略有下降，从 453 个降至 446 个，体现出平均成功率与可重复性之间的权衡。
• 在单个酒店预订任务示例中，训练前模型在 20 次尝试中有 15 次未经经理批准就更改预订并退款；训练后 20 次均保留了预订和支付状态。

关键数据

• ThinkingBox-Bench 包含 507 个任务，每个任务评估 20 次，共 10,140 次尝试。
• Qwen3.8-27B 训练后 pass@1 从 51.70% 升至 60.78%（+9.08 个百分点）。
• Observed 20/20 从 38（7.50%）增至 107（21.10%），增加 69 个任务。
• pass@20 从 453（89.35%）降至 446（87.97%），减少 7 个任务。
• 对比模型：Kimi-K3 的 observed 20/20 为 68，GPT-5.4 为 128，GPT-6 Astra 为 231，Claude Opus 5.5 为 241。
• GPT-5.6 Sol 的 pass@1 为 61.91%，略高于微调后 Qwen3.8-27B 的 60.78%，但 observed 20/20 为 82，低于 107。

引语

• “Difficulty is policy-relative”

为什么值得看：该工作展示了如何将数据库终态的可执行检查转化为强化学习奖励，从而在无需人工标注的情况下提升 agent 在真实后端任务中的可重复可靠性。