英文原标题:Managing Amazon Bedrock costs end to end: A playbook for FinOps and platform teams

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • 生成式AI成本管理需构建五步循环运营模型:归因、观测、执行、优化、运营,由FinOps与平台工程团队分工协作。
  • Amazon Bedrock支持按IAM主体自动归因推理成本,通过CUR 2.0的line_item_iam_principal列实现发票级追踪,覆盖用户、角色、联合身份和API密钥。
  • 共享角色问题会导致归因丢失,解决方案是网关为每个用户代入角色并传递会话标签,每小时一次STS调用即可恢复按用户和租户的归因。
  • 应用推理配置文件适合应用和模型稳定的小规模团队,Projects适合模型频繁变化或使用OpenAI兼容API的工作负载。
  • 模型调用日志可记录请求、响应和元数据到CloudWatch Logs或S3,用于解释支出构成,应作为基础设施通过代码配置。

关键数据

  • CUR 2.0中IAM主体标签以iamPrincipal/前缀出现,激活后24–48小时内在Cost Explorer可见。
  • 网关按用户缓存凭证最长1小时,即每用户每小时一次AWS STS调用。

为什么值得看:文章提供了从归因到运营的完整框架,帮助团队在代理工作负载普及前建立可落地的Bedrock成本治理机制。

站内导航