英文原标题:How ArisGlobal scaled generative AI inference on Amazon Bedrock

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • ArisGlobal 在 Amazon Bedrock 上构建了面向生命科学的 AI 引擎 NavaX,用于自动化药物不良事件处理,并已处理超过 100 万笔真实交易。
  • 随着企业客户增加,共享提示前缀在 6 个月内增长约 150%,导致单案例推理成本上升超过 200%。
  • 最初设计将源文档放在请求开头并缓存,但共享前缀未被缓存;后来反转顺序,优先缓存共享前缀,从而降低有效输入成本并支持更多租户。
  • Amazon Bedrock 的提示缓存基于前缀,支持显式缓存检查点(最多 4 个)和简化缓存管理,默认 TTL 为 5 分钟,部分模型支持 1 小时。
  • ArisGlobal 使用一个显式检查点紧跟在共享提示前缀之后,按案例的文档放在检查点之后,每次请求都会处理。

关键数据

  • 共享提示前缀从约 72,000 tokens 增长到 180,000 tokens,增幅 150%。
  • 单案例推理成本增加超过 200%。
  • NavaX 已处理超过 100 万笔真实交易,涉及数十亿 tokens。
  • 每个案例提取约 130 个字段。
  • 源文档通常为 10–200 页。
  • Claude Sonnet 4.5 的最小缓存前缀为 1,024 tokens。
  • 默认缓存 TTL 为 5 分钟,部分模型支持 1 小时。

引语

  • “共享提示前缀增长了约 150%”
  • “单案例推理成本增加了超过 200%”

为什么值得看:本文展示了如何通过调整提示缓存顺序来应对提示膨胀和成本增长,对使用 Amazon Bedrock 构建多租户生成式 AI 应用具有参考价值。

站内导航