英文原标题:Architecture patterns for fast session startup on Amazon Bedrock AgentCore runtime

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Amazon Bedrock AgentCore runtime 的 V2 版本改变了会话启动方式:不再为每个会话初始化容器,而是在创建或更新时构建一次快照,之后每个新会话从快照恢复,从而加快启动速度并提高一致性。
  • V2 在构建快照时等待首次健康检查(GET /ping)在 120 秒内到达,然后清除文件缓存、冻结 microVM 并存储内存和磁盘快照;创建或更新现在需要几分钟来构建快照。
  • 恢复快照后,进程内存中的内容(包括导入的库、客户端对象和 /dev/shm 中的数据)立即可用,但文件缓存不会保留,镜像文件在首次读取时从快照存储获取。
  • 文章建议先测量再优化:使用 CloudWatch 指标 Latency(首字节时间)和 OverheadLatency(平台开销)来区分会话启动时间和代码执行时间,并记录初始化时间(init_ms)以了解构建快照的耗时。
  • 针对不同场景,文章提出四种模式:直接切换到 V2 并将初始化放在 app.run() 之前;使用构建钩子预加载大文件或 CLI;在用户交互时后台启动会话以实现亚秒级响应;以及预热会话。

关键数据

  • 健康检查必须在 120 秒内到达
  • 创建或更新运行时需要几分钟来构建快照
  • V2 将初始化时间从每个会话中移除,仅影响创建或更新达到 READY 的时间

引语

  • For most agents, switching to V2 is all it takes.

为什么值得看:本文提供了在 AgentCore runtime 上优化会话启动时间的实用架构模式,帮助开发者减少延迟并提升交互体验。

站内导航