利用 vLLM 双向 KV 传输改善多轮智能体工作负载的 TTFT

英文原标题：Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM

本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗

• 多轮智能体工作负载中，客户端每轮重发对话历史，导致预填充节点重复计算不断增长的上下文，增加首令牌时间（TTFT）并消耗加速器容量。
• 传统预填充-解码（P-D）分离架构仅支持预填充到解码的单向KV缓存传输，解码节点生成的KV无法被预填充节点复用，且预填充节点不保留会话状态，易发生缓存驱逐。
• 双向KV传输机制允许解码节点在后续轮次将之前计算的KV返回给预填充节点，避免重复计算共享上下文，由KV缓存感知路由器协调，并受可配置的KV重算阈值控制。
• 扩展了NIXL KV连接器使预填充节点能消费远程KV块，路由器维护conversation_id到kv_transfer_params的映射，仅存储块位置元数据而非KV张量。
• 解码节点通过decoder_kv_blocks_ttl（默认480秒）保留KV块，预填充节点根据kv_recompute_threshold（默认64令牌）决定复用还是重算。

关键数据

• TTFT降低最多1.6倍（Qwen3-32B）和3.3倍（zai-org/GLM-5-FP8）
• decoder_kv_blocks_ttl默认480秒
• kv_recompute_threshold默认64令牌
• 1P1D部署使用Amazon EC2 P5en实例，通过AWS EFA连接

为什么值得看：该功能通过双向KV传输减少多轮对话中的重复预填充计算，显著降低TTFT，提升加速器利用率和对话式应用的响应速度。