新闻 · AWS Machine Learning Blog
Amazon Bedrock tokenomics数据湖
在多个账户中运行Amazon Bedrock时，你只能看到账单，却看不到每次调用内部发生了什么。本文构建了一个集中式可观测性数据湖，将每个关联账户的Bedrock调用日志聚合到一张可查询的表中，让你能够查看整个组织内的提示词、token数量、模型选择和每次调用成本。
en
英文原标题：Amazon Bedrock tokenomics data lake
本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗
- 针对跨多个账户运行 Amazon Bedrock 工作负载时缺乏细粒度可见性的问题，文章提出构建集中式可观测性数据湖，将各账户的模型调用日志汇聚到中心账户统一查询。
- 数据湖基于原生模型调用日志，通过 CloudWatch 订阅过滤器转发到中心账户，经 Lambda 清洗、Data Firehose 转 Parquet 写入 S3，最终由 Athena 以单表 SQL 查询。
- 每条调用记录包含提示词、模型响应、输入输出 token 数、所用模型、停止原因、账户与时间戳以及 IAM 角色，便于归因和排查。
- 部署采用两个 CloudFormation 模板：先部署中心账户栈，再在每个源账户部署日志栈，最后需手动开启 Bedrock 模型调用日志（仅 CloudWatch 投递）。
- 可将数据湖与 AWS Cost and Usage Report 关联，按天查看用户提示词对应的花费；所有代码和 SQL 位于 GitHub 示例仓库。
关键数据
- 数据湖经过五个阶段：Bedrock 写日志、CloudWatch 转发、Lambda 清洗、Firehose 转 Parquet 写 S3、Athena 查询。
- Firehose 按日期路径（如 year=2026/month=08/day=27/）组织 S3 对象。
- 部署前提包括配置 AWS CLI、CloudFormation 的 CAPABILITY_IAM 与 CAPABILITY_NAMED_IAM 权限、至少一个链接账户和一个中心账户、Python 3 与 Boto3。
- 验证时需等待 Firehose 刷新缓冲区，大约一分钟，有时更长。
为什么值得看：它提供了一套可复用的基础设施即代码方案，把分散在各账户的 Bedrock 调用日志变成可跨组织查询、可关联成本的数据湖，帮助平台和 ML 团队定位浪费、调试异常并区分团队用量。