在 Amazon SageMaker AI 上通过知识蒸馏构建高效智能体

英文原标题：Build efficient agents with knowledge distillation on Amazon SageMaker AI

本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗

• 文章指出，基于前沿模型的智能体应用在生产规模下成本高昂，因为单个任务需要多次模型调用，每次调用都产生费用，侵蚀项目ROI。
• 知识蒸馏通过将大型“教师”模型的行为迁移到小型“学生”模型，在保持较小模型速度和成本的同时保留大部分质量。
• 序列级知识蒸馏（SeqKD）仅需教师模型的文本输出，无需logits或强化学习基础设施，适用于闭源或仅API可访问的教师模型。
• 对于智能体任务，教师生成的是包含推理、工具调用和观察结果的多步轨迹，学生通过监督微调学习整个序列，从而掌握行为本身。
• 文章以购物助手为例，使用Amazon Bedrock上的前沿教师模型生成轨迹，通过基准评分器筛选成功轨迹，在SageMaker AI上微调Qwen3.5-4B学生模型，并在留出集上评估。

关键数据

• ShoppingBench发布750个合成购物问题，产品、商店和优惠券意图各250个。
• 学生模型为Qwen3.5-4B，教师模型为GLM-5.3（在Amazon Bedrock上）。
• 需要Python 3.12或更高版本内核，以及至少ml.m5.4xlarge的笔记本实例。

引语

• SeqKD needs only the teacher’s text
• the sequence being copied is the behavior itself

为什么值得看：它提供了一套可复用的方法，利用仅API可访问的教师模型和程序化评分器，通过SeqKD将智能体行为蒸馏到小模型，从而降低生产环境中的每次任务成本。