新闻 · AWS Machine Learning Blog

在 SageMaker HyperPod 上分离 LLM 推理的预填充与解码阶段

本文介绍如何使用 HyperPod Inference Operator，在 Amazon SageMaker HyperPod 上通过 vLLM 实现分离式预填充与解码（DPD）。