英文原标题：Deploy decision models with llama.cpp on Amazon SageMaker AI
本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗
- 文章介绍如何在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型，提供在 CPU 或 GPU 上服务量化模型的托管路径。
- 标准路径直接使用 AWS DLC for llama.cpp，通过 SageMaker AI InvokeEndpoint 提供 OpenAI 兼容的聊天补全；结构化决策路径则用 CodeBuild 构建子镜像，将默认服务器替换为 SemIf 适配器，返回声明选项的概率。
- SemIf 使用约束决策模式，请求包含调用方定义的 ID、非结构化状态、问题和有序选项列表，响应返回 option_ids、probabilities 和 raw option_logits，便于应用设置阈值和回退策略。
- 基准测试显示，Qwen3.5-4B Q4_K_M 在 GPU 端点（ml.g6e.xlarge）上 p50 延迟 0.352 秒、p95 延迟 0.599 秒，比 CPU 配置（ml.c6i.8xlarge）分别快 4.9 倍和 32.2 倍；两者准确率相近（77.9% 对 77.5%）。
- 建议对延迟不敏感的后台或离线工作负载使用 CPU，对交互式决策或严格尾延迟目标使用 GPU；同时保持提示简洁，并在生产前用标注决策评估模型。
关键数据
- Qwen3.5-4B Q4_K_M 在 ml.c6i.8xlarge（32 线程）上准确率 179/231（77.5%），p50 1.715 秒，p95 19.291 秒。
- Qwen3.5-4B Q4_K_M 在 ml.g6e.xlarge（全 GPU 卸载）上准确率 180/231（77.9%），p50 0.352 秒，p95 0.599 秒。
- GPU 端点比 CPU 配置 p50 快 4.9 倍，p95 快 32.2 倍。
- 2B 和 0.8B 候选模型准确率分别为 66.7% 和 58.4%。
- llama.cpp 将全部 34 个模型层卸载到 NVIDIA L40S。
- 基准测试使用 231 个公开 JevBench 任务。
为什么值得看：文章提供了在 SageMaker AI 上部署 llama.cpp 决策模型的实用指南，包括两种部署路径、性能基准和选型建议，帮助开发者根据延迟和质量需求选择 CPU 或 GPU 方案。
