英文原标题:Reducing token costs and latency in Amazon Bedrock AgentCore JSON workloads

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • 企业级智能体在处理大型JSON数据时,每次工具调用都会将完整负载注入LLM上下文,导致token消耗和延迟激增,多轮对话下问题加剧。
  • 针对Flightscape的培训调度优化智能体(含40+工具、处理20MB+ JSON),文章提出三种可组合策略,在23MB负载基准测试中最高减少71% token消耗、降低80%平均延迟。
  • 策略一:将重型工件(请求/响应JSON、验证数据等)存入Amazon S3,AgentCore memory仅持久化轻量引用,运行时按需从S3加载,保持会话状态轻量。
  • 策略二:当工具返回超大列表或字典时,将完整结果存入S3,并向模型传递带句柄的紧凑摘要,模型可通过get_result_page_tool()按需获取更多细节。
  • 策略三:在每轮对话结束时,dehydrate_state()将重型负载写入S3ArtifactStore,仅将引用保存至AgentCore memory;下一轮开始时hydrate_state()恢复轻量状态。

关键数据

  • 处理20 MB+ JSON负载的智能体,基准测试使用23 MB代表性负载
  • 优化后token消耗最高减少71%,平均延迟最高降低80%
  • 智能体包含40+工具,原平均请求延迟超过15秒
  • 使用LangGraph框架和Amazon Bedrock AgentCore,Python 3.12+环境

为什么值得看:文章提供了在Amazon Bedrock AgentCore上处理大型JSON工作负载时,通过状态脱水与S3卸载来显著降低token成本和延迟的实用架构模式。

站内导航