新闻 · AWS Machine Learning Blog
使用Amazon Bedrock AgentCore Evaluations中的决策模型
有些智能体评估问题范围狭窄且可重复，而决策模型恰好能回答这类问题。本文介绍如何通过基于代码的评估器将Jev和Strands Decider这两个决策模型接入Amazon Bedrock AgentCore Evaluations，以及如何在将发布流程与决策模型检查绑定之前对其进行验证。
en
英文原标题：Use decision models with Amazon Bedrock AgentCore Evaluations
本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗
- 决策模型是小型专用模型，从固定选项集中选择答案并返回校准后的概率分布，而非自由文本，适合需要可阈值化置信度的评估场景。
- Amazon Bedrock AgentCore Evaluations 支持自定义评估器，包括 LLM-as-a-judge 和基于代码的评估器；代码评估器在 AWS Lambda 中运行，可调用外部系统或决策模型。
- 文章演示了通过代码评估器连接两种决策模型后端：TypeSafe 的托管模型 Jev 和开源的 Strands Decider 2B，并说明如何转换输入输出格式。
- 决策模型支持三种问题类型：noul（是/否，返回0到1概率）、choice（最多255个选项，返回最可能选项及分布）、score（2到10个有序等级，返回加权分数）。
- 决策模型并非替代 LLM 评估器，而是补充：可用于窄范围、定义明确的检查，或作为筛选层，先快速判断再交由内置评估器深入分析。
关键数据
- AgentCore Evaluations 提供 15 个内置评估器。
- Jev 是 TypeSafe 的托管决策模型；Strands Decider 2B 是 20 亿参数的开源决策模型。
- noul 问题返回 0（否）到 1（是）之间的概率。
- choice 问题支持最多 255 个选项。
- score 问题支持 2 到 10 个有序等级。
- 示例默认区域为美国西部（俄勒冈），需要 Python 3.12 或更高版本。
引语
- 决策模型回答的正是这类问题。
- 决策模型不是 LLM 评估器的替代品。
为什么值得看：它展示了如何将决策模型通过代码评估器接入 AgentCore Evaluations，为代理评估提供可校准、可编程的置信度评分，补充现有 LLM 评估器。