英文原标题:Four Amazon Bedrock inference choices that affect cost

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Amazon Bedrock 的推理成本不仅取决于模型和提示词,请求级参数如缓存时长、服务层级、推理努力和 maxTokens 也会影响 token 处理量和计费费率。
  • 提示缓存时长需权衡:5 分钟写入费率为输入价的 1.25 倍,1 小时为 2 倍,缓存读取为 0.1 倍;若同一前缀的请求间隔超过 5 分钟,1 小时缓存从第二次请求起更便宜。
  • 服务层级 Flex 适用于延迟不敏感任务,但支持因模型而异;对不支持模型发 Flex 请求会返回 ValidationException,可捕获后回退到 default 层级。
  • 自适应思考努力影响推理 token 计费:Claude Sonnet 5 和 Opus 5 默认高努力,Haiku 5.5 默认中等;降低努力可减少输出 token,但可能影响准确性。
  • 测试显示,在 Claude Opus 5 工具调用任务中,低努力输出 token 中位数为 936,高努力为 2521(+169%),max 为 3762(+302%),所有努力级别均正确完成 24 次运行。

关键数据

  • 5 分钟缓存写入费率为输入价的 1.25 倍,1 小时为 2 倍,缓存读取为 0.1 倍。
  • 1 小时缓存需每小时至少 3 次请求才能优于无缓存。
  • Nova 2 Lite 在 us-west-2 的 Flex 费率为 Standard 的一半。
  • Claude Opus 5 低努力中位数输出 token 936,高努力 2521,max 3762。

引语

  • A longer duration is not automatically cheaper.
  • Keep latency-sensitive traffic on default.

为什么值得看:文章通过实测和计费数据说明,调整缓存时长、服务层级和推理努力等请求级参数可在不更换模型和提示词的情况下直接影响 Bedrock 推理成本。

站内导航