AI 代理的“土拨鼠之日”：在 Amazon Bedrock 上使用 OpenAI 模型的提示缓存模式

英文原标题：Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock

本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗

• AI agent每次行动都要重新发送完整上下文（工具定义、指令、历史记录），导致重复计费；prompt caching通过存储输入前缀并在后续请求中复用，大幅降低输入成本。
• 缓存机制基于prefill阶段生成的KV向量，后续请求若前缀相同则直接加载缓存状态，只处理新增内容；支持隐式（Bedrock自动选择断点）和显式（代码用prompt_cache_breakpoint标记）两种模式，推荐结合使用。
• 静态内容（工具和指令）适合显式缓存，需达到1024 token门槛；测试中约4000 token的前缀首次写入4120 token，后续读取相同数量，任务部分不触发缓存写入。
• 缓存要求文本完全一致，需保持工具列表和指令序列化方式稳定，将日期、用户名等变量放在缓存边界之后；隐式缓存适合对话增长，显式缓存可跨会话复用共享前缀。
• 使用prompt_cache_key标识共享缓存的请求，store=False不影响缓存；结合两种模式可为agent提供可复用起点，同时让Bedrock自动管理增长的历史。

关键数据

• 可复用前缀需至少1024 token才能触发缓存
• 测试中约4000 token的工具和指令前缀首次写入4120 token，后续请求读取4120 token
• 示例模型为us.openai.gpt-6-astra，缓存TTL可设为30分钟

引语

• Prompt caching breaks the cycle.

为什么值得看：本文解释了如何通过prompt caching避免agent每轮重复发送完整上下文，从而显著降低token成本并保持响应一致性。