英文原标题:Deploy and evaluate models with Amazon SageMaker JumpStart

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Amazon SageMaker JumpStart 提供大量预训练模型目录,本文演示如何部署模型、用 SageMaker Python SDK 做轻量可重复的性能测试,并在测试后删除端点。
  • 2026 年 SageMaker JumpStart 推出两项改进:在 SageMaker AI 控制台的 Model Hub 中可浏览目录、查看示例 notebook 并直接在 SageMaker Studio 打开;预配置端点部署选项提供针对低成本、低延迟或通用工作负载的命名配置,并支持 Neuron 优化配置。
  • 新增深度链接集成,可从 Hugging Face 模型发现一键跳转到 SageMaker AI 部署。
  • 工作流分三步:从 JumpStart 发现并部署模型、运行模型专属示例提示并测量延迟/输出长度/单请求生成速率、清理端点;不同模型的 payload 格式、实例类型、EULA 和响应结构可能需要调整。
  • 前置条件包括:具备 SageMaker AI 权限的 AWS 账户、Python 3+ 与 SageMaker Python SDK v3(pip install "sagemaker>=3,<4")、足够的 GPU 实例配额。

关键数据

  • SageMaker Python SDK v3 安装命令:pip install "sagemaker>=3,<4"
  • 示例模型 ID:huggingface-vlm-qwen3-5-27b,版本 1.13.0,区域 us-east-1
  • 示例请求参数:max_tokens 为 256
  • 部署时间因模型、实例类型、配额和 AWS 区域而异

引语

  • Found {len(models)} text generation models
  • Deployed in {deploy_time:.1f} seconds

为什么值得看:它给出了一条从模型发现、部署到性能评估和清理的可重复路径,并介绍了 2026 年 JumpStart 在模型发现与部署上的新改进。

站内导航