英文原标题:Optimize AI economics on Amazon Bedrock with Accenture’s sequenced approach

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • 企业使用 Amazon Bedrock 扩展 AI 时,即使单 token 价格下降,总 token 支出仍可能上升;若缺少成本分配标签,账单只能看到 AI 总支出的单一条目,无法按团队、工作负载、代理或模型拆分。
  • Accenture 在电信、保险、采矿及大型企业部署四个客户项目中应用了六项优化杠杆,在可衡量的场景中 token 支出下降约 40%–85%,但结果因工作负载而异。
  • 优化分为三个阶段:第一阶段仅配置,包括 prompt caching(缓存输入 token 成本最高降 90%)和 batch inference(比按需定价低 50%);第二阶段架构调整,包括 intelligent prompt routing(成本最高降 30%)和 RAG 优化;第三阶段基础设施与训练投入,包括语义缓存和模型蒸馏。
  • Accenture 提出 Cost per Business Transaction (CpBT) 框架,将一次成功业务输出所涉及的所有模型调用、重试、工具调用和代理交接聚合为单一完全负载成本,以区分反映规模成功的账单增长与反映浪费的增长。
  • AWS 提供 CUR 2.0、CloudWatch 和 Bedrock 模型调用日志作为底层遥测;语义缓存在 AWS 基准测试中(63,796 条真实聊天查询)以 0.90 相似度阈值实现 74.5% 缓存命中率、92.3% 准确率和 72.5% 成本节省。

关键数据

  • token 支出下降约 40%–85%(Accenture 四个客户项目中可衡量的场景)
  • prompt caching 对支持的模型可降低缓存输入 token 成本最高 90%
  • batch inference 比按需定价低 50%(部分模型)
  • intelligent prompt routing 可降低成本最高 30%
  • 语义缓存基准:63,796 条查询,0.90 相似度阈值,74.5% 命中率,92.3% 准确率,72.5% 成本节省
  • 蒸馏模型速度最高提升 500%,成本最高降低 75%,RAG 等用例准确率损失低于 2%

为什么值得看:文章提供了从成本归因到三阶段六杠杆的系统化方法,并附 Accenture 生产环境实测数据,帮助企业应对 AI 规模化后 token 支出增长快于单价下降的经济挑战。

站内导航