新闻 · AWS Machine Learning Blog
基于推送的 KV 传输提升 vLLM 分离式推理的 TTFT 与 TPOT
vLLM 的预填充-解码分离将 LLM 推理拆分到不同引擎实例上，但必须在实例之间传输 KV 缓存。本文介绍一种基于推送的 NIXL 连接器，将传输协调移出关键路径，在配备 AWS EFA 的 Amazon EC2 P5en 实例基准测试中，TTFT 最高提升 3 倍，TPOT 提升 30%。
en
英文原标题：Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗
- vLLM 的 P-D 分离推理中，KV 缓存传输效率直接影响首 token 延迟（TTFT）。默认的 NIXL 连接器采用拉取模式，解码实例需在预填充完成后依次执行路由中继、分配目标块并发起 NIXL READ，这些步骤串行增加了 TTFT。
- 文章提出基于推送的 NIXL 连接器：解码实例在分配本地块时即向预填充实例注册目标位置；预填充完成后，由预填充侧发起 NIXL WRITE 将 KV 块直接写入解码实例已注册的内存，从而将传输协调与设置移出关键路径。
- 推送模式通过专用后台线程处理传输准备与提交，使预填充主循环在移交 KV 块后快速返回模型执行，避免描述符准备和传输提交延迟主循环。
- 在 AWS EC2 P5en（GPU）集群配合 EFA 的 1P1D 部署上，针对 Qwen3-32B 模型的基准测试显示，推送模式相比拉取模式 TTFT 最高提升 3 倍，TPOT 最高提升 30%。
- 该功能最初在 AWS Trainium 集群上构建并验证，后作为加速器无关特性贡献给 vLLM，表明其收益可延续到 GPU 平台。
关键数据
- 1P1D 部署，使用 Amazon EC2 P5en 实例并通过 EFA 连接
- Qwen3-32B 模型
- 推送模式 TTFT 最高提升 3 倍，TPOT 最高提升 30%
为什么值得看：该推送模式能显著降低分离式推理的 TTFT 和 TPOT，尤其在高请求率下可提升应用响应速度，且已作为通用特性合入 vLLM。