英文原标题：Accelerate agentic AI with NVIDIA Nemotron models on Amazon EKS and SageMaker HyperPod EKS
本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗
- NVIDIA Nemotron 3.5 Super VL 加入 AWS 上已有的 Nemotron 系列，是一个 120B 参数 MoE 多模态模型，每 token 激活 12B 参数，支持文本、图像、文档和视频输入，输出文本。
- 模型采用混合 Mamba-2、MoE 和注意力层架构，搭配 RADIO 视觉编码器，上下文长度达 1M token，提供 BF16 和 NVFP4 检查点，并公开权重、训练数据集和后训练配方。
- 适用场景包括编码测试与错误分析、网络研究交叉验证、文档智能（表格/图表/版面理解）、网络安全漏洞识别与威胁分类、视频内容搜索与事件分析。
- 部署参考实现支持标准 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS，使用 NVIDIA Dynamo 和 vLLM 服务模型，可聚合或分离 prefill/decode，视觉编码阶段也可独立节点运行。
- 已在 p6-b200.48xlarge（8×B200）和 p5en.48xlarge（8×H200）实例上验证，通过 NCCL all-reduce 微基准检查集群网络，并用 aiperf 工具测量 TTFT、ITL 和吞吐量，进行并发扫描以规划容量。
关键数据
- 120B 总参数，每 token 激活 12B 参数
- 上下文长度最高 1M token
- Hermes Bench 63.44%，LangChain agent 评估 87.05%，CharXiv 图表推理 80.8%
- vLLM 最小 GPU 配置：B200/GB200 BF16 需 8 卡、NVFP4 需 2 卡；B300/GB300 BF16 需 4 卡、NVFP4 需 1 卡；H200 BF16 需 8 卡、NVFP4 需 4 卡；H100 BF16 需 16 卡、NVFP4 需 8 卡
- 验证实例：p6-b200.48xlarge（8×B200）和 p5en.48xlarge（8×H200）
- 并发扫描示例：在 TTFT<600ms、ITL<100ms 的 SLO 下，单副本吞吐约 320 tokens/s（c32）
引语
- A curve that moves right and down is a win.
为什么值得看：该文提供了在 AWS 上部署和评估 Nemotron 3.5 Super VL 多模态 MoE 模型的完整参考架构与性能调优方法，有助于规划 agentic AI 工作负载的容量和部署拓扑。
