英文原标题:Amazon SageMaker AI real-time endpoints now support KV cache aware routing

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Amazon SageMaker AI 为实时端点推出 KV cache-aware routing(KV-aware 路由),利用模型容器上报的缓存状态,将请求发送到已缓存其提示词较长匹配且不过载的实例。
  • 该功能适用于多轮对话、长共享提示词或高负载的 LLM 服务场景;启用方式为在模型中添加环境变量使容器上报缓存内容,并在端点配置中将 RoutingStrategy 设为 KV_AWARE,客户端调用 API 不变。
  • KV-aware 路由通过容器发布的 KV 缓存事件维护托管缓存索引,索引仅存储单向截断哈希指针,不保存提示词、token ID、请求负载或 KV 张量;请求到达时对提示词分词并查找索引,选择缓存匹配最长且负载较低的实例。
  • 与基于请求前缀推断的 prefix-aware 路由不同,KV-aware 路由基于容器实际上报的缓存状态,能感知缓存驱逐,并支持多轮对话历史增长时的完整匹配;若最长匹配实例繁忙则选择次优可用实例,无匹配或全部繁忙时回退到负载感知路由。
  • KV-aware 路由仅在至少有两个实例或推理组件副本时生效;扩缩容时索引跟随实例变化,新实例缓存为空可能导致短暂延迟升高。SageMaker AI 实时端点现提供 RANDOM、LEAST_OUTSTANDING_REQUESTS、PREFIX_AWARE 和 KV_AWARE 四种路由策略。

关键数据

  • Prefix-aware 路由每请求增加 1.3–1.9 毫秒延迟(来自本系列第一部分)
  • KV-aware 路由对短提示词增加几毫秒延迟,长提示词更多,主要用于分词
  • KV-aware 路由需要至少两个实例或至少两个推理组件副本才生效
  • 示例中实例 A 持有请求 6,200 个 token 中的前 6,000 个缓存 token

引语

  • KV-aware routing needs a choice of destinations

为什么值得看:KV-aware 路由利用容器上报的真实缓存状态,解决了 prefix-aware 路由无法感知缓存驱逐和多轮对话短请求匹配不准的问题,有助于降低 LLM 推理延迟。

站内导航