英文原标题:The agent evaluation playbook: Built-in, DeepEval, and AutoEval on Amazon Bedrock AgentCore Evaluations
本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗
- 文章指出,部署 agent 到生产环境后,团队常只能靠抽查输出、观察延迟和收集用户反馈来判断效果,但这些表面信号无法反映 agent 是否真正完成任务、在长会话中保持主题、泄露 PII 或跳过应执行步骤。
- AgentCore Evaluations 提供三类评估器:AWS 内置评估器(如 Builtin.GoalSuccessRate、Builtin.Helpfulness 等 15 个)、第三方托管评估器(DeepEval 和 AutoEval,由 AgentCore 托管代码、选择 judge 模型并运行推理)以及自定义评估器(基于内置或第三方评估器替换模型或修改 prompt/rubric)。
- 内置评估器分为五组:响应质量(Correctness、Faithfulness、Helpfulness 等)、任务与目标完成(GoalSuccessRate)、工具使用(ToolSelectionAccuracy、ToolParameterAccuracy)、技能(SkillSelectionAccuracy、SkillInstructionFollowing)和安全(Harmfulness、Stereotyping),另有三个轨迹检查评估器。
- DeepEval 提供任务完成、对话质量、工具使用和安全四类托管开源指标,特别适合多轮 agent,例如 ConversationCompleteness 能发现 agent 只回答最新消息而忽略早先请求,KnowledgeRetention 能发现 agent 忘记用户几轮前说的话。
- AutoEval 提供更专门的信号,如 Security 标记恶意输出、Possible 捕捉过度谨慎的 agent、Humor 适用于消费级 agent;当目录中没有合适评估器时,可编写自定义 LLM-as-a-judge。
关键数据
- 内置评估器共 15 个,包括 Builtin.GoalSuccessRate、Builtin.Helpfulness 等。
- 内置评估器分为五组:响应质量、任务与目标完成、工具使用、技能、安全。
- 三个 ground-truth 轨迹检查:TrajectoryExactOrderMatch、TrajectoryInOrderMatch、TrajectoryAnyOrderMatch。
- DeepEval 提供四组托管开源指标:TaskCompletion、GoalAccuracy、ConversationCompleteness;TurnRelevancy、KnowledgeRetention、Summarization;ToolUse;Bias、Toxicity、PIILeakage。
- AutoEval 提供 Security、Possible、Humor 等专门信号。
- 可通过 ListEvaluators API 获取完整目录和自定义评估器。
引语
- “Helpfulness sounds good, so we use it.”
为什么值得看:文章强调评估应从业务结果出发、拆解为可观察行为并映射到 trace 或 session 级别的评估器,而 AgentCore Evaluations 整合内置、DeepEval、AutoEval 和自定义评估器,为生产环境中的 agent 提供系统化评估路径。