英文原标题:Introducing explicit prompt caching with open-weight models on Amazon Bedrock

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Amazon Bedrock 上的开放权重模型现已支持提示缓存,可复用相同提示前缀的计算状态,从而降低输入成本并减少响应延迟。
  • 提示缓存分为隐式缓存和显式缓存两种模式:隐式缓存由 Bedrock 自动选择可复用前缀,尽力而为;显式缓存需通过 prompt_cache_options 和 prompt_cache_breakpoint 标记可复用前缀的结束位置。
  • 隐式缓存适合已有稳定前缀的对话或代理循环;显式缓存适合固定共享前缀加变化问题,或需要控制分层前缀的场景,可避免为不再复用的内容支付更高的缓存写入费用。
  • 文章通过 Chat Completions API 演示了两种缓存模式,并展示如何从响应中读取缓存使用字段,还将隐式缓存应用于 OpenCode 编码代理会话。
  • 使用前需确认模型支持的缓存模式、最小前缀长度和缓存存活时间,并注意缓存读取按较低费率计费,部分模型的缓存写入费率可能高于标准输入。

关键数据

  • 示例中的产品手册约 4,000 个 token。
  • 短期 Amazon Bedrock API key 有效期最长 12 小时。
  • 需要 Python 3.12、openai 3.26.0 或更高版本、aws-bedrock-token-generator 1.1.0 或更高版本,以及 OpenCode 1.18.35。

为什么值得看:文章说明了如何在 Amazon Bedrock 上利用提示缓存降低开放权重模型的输入成本和延迟,并给出了两种缓存模式的选择依据和实操示例。

站内导航