英文原标题：SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗
- Amazon SageMaker Inference 新增对 NVIDIA Multi-Instance GPU (MIG) 的支持，可将单块物理 GPU 划分为多个硬件隔离的独立分区，每个分区拥有固定的计算单元份额和专用内存块。
- 该功能解决了两个核心限制：一是可在同一实例上部署比 GPU 数量更多的模型；二是可选择较新加速器的部分算力，而非整块 GPU，避免资源不足或过度付费。
- GPU 分区仅适用于使用推理组件（inference components）的端点，单模型端点、无服务器端点和异构实例池不支持分区。
- MIG 提供可预测延迟、故障隔离、无冷启动、租户隔离等优势，但分区数量最多为 7 个，且布局需在创建端点时指定，需要多 GPU 的模型仍需整块设备。
- SageMaker 通过 API 新增 AcceleratorPartitionLayouts 和 AcceleratorPartitionType 两个可选字段实现分区，无需新 API 操作或 IAM 动作，省略字段时行为与现有端点一致。
关键数据
- ml.p4d.24xlarge 实例拥有 8 块 A100 GPU，每块 A100 最多可划分为 7 个计算切片。
- 示例布局使用 mig-4g.20gb、mig-2g.10gb、mig-1g.5gb 三种分区类型，每个 A100 承载 3 个分区，整个端点共提供 24 个分区（每种类型 8 个）。
- MIG 最多可将一块 GPU 划分为 7 个实例，具体数量取决于 GPU 型号。
为什么值得看：该功能让企业在托管端点上实现硬件隔离的 GPU 共享，无需自建 Kubernetes 平台，从而提升 GPU 利用率并降低推理成本。
