推出 SOCI 索引镜像，加速 SageMaker AI 任务

英文原标题：Announcing SOCI-indexed images for faster SageMaker AI jobs

本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗

• SageMaker AI 训练和处理作业现在支持 SOCI 索引，可延迟加载容器镜像，只获取启动所需文件，其余在后台流式传输，从而将镜像下载移出关键路径。
• 采用方式有两种：使用预索引的 AWS Deep Learning Container (DLC)，或为自己的镜像添加索引；无需修改作业定义、入口点或数据通道。
• SageMaker AI 会自动检查镜像是否带有 SOCI 索引：有则延迟加载，无则标准下载，若索引读取失败或延迟加载不成功则回退到标准下载，确保作业不会因添加索引而无法运行。
• 基准测试显示，延迟加载将镜像下载时间从分钟级降至秒级（3-11秒），在不同镜像大小和实例类型上均保持稳定，下载时间提升约8倍至46倍。
• 训练性能基本不受影响，仅第一个epoch因按需获取文件而增加3-16秒，但从第二个epoch起与标准下载一致；每个作业净节省1-6分钟。

关键数据

• 镜像大小范围1.8 GB至35.4 GB（压缩后）
• 标准下载1.8 GB镜像需48秒，延迟加载仅3-11秒，提升约8倍
• 标准下载13.2 GB镜像需3分42秒，延迟加载约6秒，提升约34倍
• 标准下载35.4 GB镜像需7分17秒，延迟加载3-11秒，提升约38倍
• 在13种实例类型/大小组合上，13.2 GB镜像标准下载需3分16秒至4分20秒，延迟加载保持6-8秒，约34倍提升
• 第一个epoch增加3-16秒，但每个作业净节省1-6分钟
• GPU空闲时间减少高达90%

为什么值得看：SOCI索引能显著减少SageMaker AI作业的镜像下载时间，降低作业成本和等待时间，尤其有利于超参数调优、快速实验和短时处理作业。