使用 Ray LLM Deep Learning Containers 运行多节点推理工作负载

英文原标题：Run multi-node inference workloads using Ray LLM Deep Learning Containers

本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗

• 介绍如何在 Amazon EKS 上使用多节点 Ray LLM Deep Learning Containers 跨两个 GPU 节点部署单个大语言模型，采用 prefill 和 decode 分离架构，对外暴露一个 OpenAI 兼容端点。
• 多节点部署常见于张量并行、流水线并行、数据并行以及 prefill/decode 解耦推理场景；客户自行搭建依赖链耗时且易出错，DLC 提供预构建、性能优化的 Docker 镜像解决此问题。
• Ray LLM DLC 内置 vLLM 推理引擎、Ray Serve HTTP 服务层、NIXL 用于节点间 KV 缓存传输，以及 EFA 栈（libfabric 和 aws-ofi-nccl）实现高带宽节点通信；整个服务应用仅需 YAML 配置，无需编写处理类或构建自定义镜像。
• 架构上，CPU 系统节点（m7i.xlarge）运行 KubeRay operator 和 Ray head，两个 GPU 工作节点（g6.8xlarge）分别承担 prefill 和 decode 阶段；KV 缓存通过 NIXL 经 EFA 从 prefill 节点传输到 decode 节点，GPU 节点组固定在同一可用区。
• 使用 build_pd_openai_app 辅助函数，传入 prefill_config 和 decode_config 即可连接 KV 缓存传输，示例配置了 Qwen3.5-9B 模型，并设置 max_model_len、dtype、gpu_memory_utilization 等参数。

关键数据

• CPU 系统节点使用 m7i.xlarge 实例
• 两个 GPU 工作节点使用 g6.8xlarge 实例
• 需要至少 64 vCPU 的服务配额
• 示例模型为 Qwen/Qwen3.5-9B
• max_model_len 设置为 4096
• dtype 为 bfloat16
• gpu_memory_utilization 为 0.90
• enforce_eager 设为 true 以跳过 CUDA 图捕获降低峰值 GPU 内存

引语

• build_pd_openai_app
• kv_connector: NixlConnector
• backends: ["LIBFABRIC"]

为什么值得看：本文展示了如何利用 AWS 预构建的 Ray LLM DLC 在 EKS 上快速部署多节点 PD 分离推理，避免自行维护依赖链，适合 RAG、文档摘要和智能体等场景。