英文原标题:From prototype to production: Engineering agents with Agent DLC

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • 文章指出,AI agent 正从探索阶段进入工程化阶段,企业团队开始交付能调用工具、编排 API 并基于内部知识回答问题的 LLM 系统。
  • 传统软件测试和 CI/CD 对 agent 仍然必要但不充分,原因有三:agent 具有非确定性;prompt、工具描述、检索设置或记忆配置的变更无法仅靠文本审查发现行为变化;模型端点、知识库和外部 API 可能独立于代码库变化。
  • Agent DLC 要求对每个示例运行 k 次,基于通过率和失败分布判断;每次 prompt、工具、检索和记忆变更都需版本化并附带评估,保留 lineage;并定期重跑标准,对偏离基线的行为告警。
  • 文章用一个 HR 政策助手的参考实现展示:chunk-level precision 在三题中均为 1.00,但 fact-level precision 分别为 0.59、0.53、0.09,第三题 retrieval coverage 为 0.00,说明聚合指标可能掩盖覆盖问题。
  • 仅修改 system prompt 后,第一题指标改善,第三题反而变差;诊断发现语料库缺少专门的病假政策文档,提示应优先解决知识覆盖问题而非继续改 prompt。

关键数据

  • 三题 chunk-level precision 均为 1.00,fact-level precision 分别为 0.59、0.53、0.09,第三题 retrieval coverage 为 0.00。
  • prompt 修改后,第一题 groundedness 从 0.83 升至 0.87,fact-level precision 从 0.59 升至 0.85;第三题 groundedness 从 0.39 降至 0.31,fact-level precision 从 0.09 降至 0.04。
  • benefits-enrollment 答案 groundedness 为 0.90,但包含虚构的用户联系偏好。

引语

  • “Is this agent ready for production?”

为什么值得看:文章通过实测案例说明,单一聚合指标可能掩盖 agent 的覆盖与责任问题,并提出了 Agent DLC 这一可重复、可负担的评估框架来支撑生产发布决策。

站内导航