ALTK-Evolve：无需前沿模型，如何凭借学习记忆在客服任务τ²-bench排行榜上登顶

英文原标题：ALTK-Evolve: How learned memory tops the τ²-bench leaderboard on customer service tasks without a frontier model

本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗

• IBM Research 提出 ALTK-Evolve：用 GPT-4.1 分析智能体在训练任务上的成功与失败轨迹，提炼出简短的行为规则（如身份验证、交易确认、退货处理），作为“学到的指南”追加到系统提示中，无需更新模型权重或人工标注。
• 在 τ²-bench 客服基准的 retail 域上，使用 GPT-4.1 的基础 ReAct 智能体配合学到的指南，Pass^4 达到 67.5%，高于 2026 年 10 月 12 日排行榜快照中所有 retail 条目；airline 域 Pass^4 从 35.0% 提升至 45.0%。
• 指南按支持度（support count）分为三档：baseline（无指南）、sup3（仅保留支持度≥3 的高置信核心，retail 31 条、airline 14 条）、lossless（保留全部指南，retail 292 条、airline 101 条）。
• 两个域对指南数量的偏好不同：retail 域 lossless 配置在准确率和可靠性上均最佳；airline 域 lossless 准确率更高（65% vs 60%），但 sup3 核心的 Pass^4 更优（45% vs 40%），说明指南数量应按域调参而非固定。
• 性能提升主要来自更明智的决策而非更长的对话；额外成本体现在提示输入 token 上，而非对话轮次增加。

关键数据

• Retail 域（40 个测试任务）：baseline Mean Accuracy 78.1%、Pass^4 57.5%；lossless 82.5%（+4.4）、67.5%（+10.0）。
• Airline 域（20 个测试任务）：baseline Mean Accuracy 57.5%、Pass^4 35.0%；lossless 65.0%（+7.5）、40.0%（+5.0）；sup3 Pass^4 45.0%（+10.0）。
• 每个任务尝试 4 次；智能体模型为 gpt-4.1，用户模拟器模型为 gpt-5.5。
• 指南数量：retail sup3 31 条、lossless 292 条；airline sup3 14 条、lossless 101 条。

引语

• without updating model weights
• support count is a knob worth tuning per domain

为什么值得看：它展示了不依赖前沿模型或权重更新，仅通过从历史任务中学习可复用的行为指南，就能显著提升客服智能体的准确率与可靠性，并登上 τ²-bench 排行榜。