英文原标题:How Postman runs Agent Mode for 40 million developers on Amazon Bedrock

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Postman 为 4000 万开发者构建 Agent Mode,将其集成到已有 11 年历史的成熟产品中,面临界面假设、广泛表面区域和专业化概念等深层挑战。
  • Agent Mode 运行在 Amazon Bedrock 上,利用其托管基础模型、地理范围跨区域推理、模型相关零数据保留和多层提示缓存,以应对全球开发者社区的突发流量。
  • 工具泛滥问题:当可见工具集超过约 40 个时,工具选择错误增加;当前架构通过向量数据库将 170 多个工具动态缩小到约 15 个相关工具,并隔离执行线程。
  • 许多客户端 API 隐式耦合于界面状态,工具需要打开标签页才能读取数据;Postman 正积极解耦工具与标签页,例如 Agent Mode 现在可以在后台发送请求而无需打开标签页。
  • 对于 API Catalog 等结构化数据产品,Postman 将多个窄视图合并为单个查询工具,让 agent 基于 ClickHouse 表模式生成复杂查询,从而减少工具数量。

关键数据

  • Postman 拥有 4000 万开发者用户,产品已发展 11 年。
  • 当可见工具集超过约 40 个时,工具选择错误增加。
  • 根 agent 将超过 170 个工具缩小到约 15 个相关工具。

引语

  • “上下文而非能力是主要瓶颈”
  • “将工具目录视为上下文预算的一部分”

为什么值得看:本文揭示了将 AI agent 集成到成熟产品中的实际工程挑战和架构模式,为团队将生产级 agent 从原型推向规模化提供了可借鉴的经验。

站内导航