英文原标题:Cut self-hosted LLM cost and latency with the distributed KV caching agent skill
本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗
- 自托管LLM时,每个GPU服务器上的本地KV缓存小且孤立,无法保存或共享AI代理和聊天应用反复发送的上下文,导致GPU重复计算KV状态(prefill),增加成本和延迟。
- 使用Amazon ElastiCache的分布式KV缓存可将自托管LLM推理成本降低最多40%,并将首令牌时间(TTFT)降低最多80%。
- Agent Toolkit for AWS中的分布式KV缓存技能可帮助开发者在编码代理(如Kiro、Claude Code、OpenAI Codex)中通过几个提示完成评估和设置。
- 该技能引导代理执行最佳实践:先进行适配检查(只读describe-instances并统计EFA接口),用KVTrace基于实际流量估算收益,统一推理服务器的KV ID机制和数据类型,并在生产前验证缓存加载输出一致性。
- 使用该技能需要支持Agent Skills的编码代理、支持EFA RDMA写入的GPU实例(如p5)、LMCache 0.5.8rc1或更高版本、vLLM 0.11.1或更高版本(或SGLang 0.5.13+),以及ElastiCache for Valkey 9.1或更高版本(若设置缓存)。
关键数据
- 成本降低最多40%
- TTFT降低最多80%
- 法律AI助手示例中,64K令牌上下文导致首令牌延迟13秒
- 示例使用8个p5实例,推荐2个cache.i8ge.48xlarge节点
- KVTrace报告建议达到90%节省上限的最小容量
为什么值得看:该技能让开发者能在编码代理中快速评估并部署分布式KV缓存,从而显著降低自托管LLM的推理成本和延迟。