英文原标题:The new AgentCore runtime: Elastic, optimized, and consistently fast starts

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Amazon Bedrock AgentCore runtime 是托管计算层,让开发者无需自建基础设施即可部署和运行 agent,自发布以来已有数千团队用于生产环境。
  • 新版本针对生产 agent 需求优化:内存管理更优,会话释放内存时即回收,不再按峰值持有;冷启动时间保持一致,不受容器大小或并发影响。
  • agent 从短时聊天机器人演变为长时间运行、事件触发、无人值守的 ambient 形态,数量激增,对基础设施的弹性、成本和启动速度提出更高要求。
  • 原有 runtime 提供无服务器、会话隔离、缩容到零和按用量付费,但面临内存按峰值计费和启动时间随镜像大小与并发波动两大挑战。
  • 新 runtime 从精简内存配置启动,按需分配和换入内存,并基于数十亿会话分析在内存冷时回收;同时通过快照恢复环境,实现一致冷启动。

关键数据

  • 新 runtime 从 200 MB 到 2 GB 镜像的 P75 冷启动延迟约为 2 秒,镜像大小无影响;原 runtime 则从约 5.4 秒升至近 30 秒。
  • 测试使用空 echo agent,在 us-west-2 的 EC2 实例通过公网调用 us-east-1 的 agent,每个 agent 发送 5,000 次冷调用,覆盖五种镜像大小。
  • 会话落在已初始化环境时启动不到 100 毫秒,但保持热环境需预留计算资源。

引语

  • The platform scales all the way down to zero.

为什么值得看:新 AgentCore runtime 通过内存回收和快照恢复,解决了生产 agent 在弹性、冷启动一致性和成本上的关键痛点,让长时间运行和突发负载的 agent 更经济可靠。

站内导航