英文原标题:Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models

本文为英文原文的机器翻译摘要,原文见:NVIDIA Deep Learning Blog ↗

  • NVIDIA 发布 Nemotron 3.5 Super VL,一个 1200 亿参数的开源模型,面向专用常驻智能体,号称在同类中任务完成最快、准确率最高,吞吐量最高可达同类模型的 5 倍。
  • 同时推出两款边缘模型:Nemotron 3.5 Bolt 74B-A9B 24GB 通过原生 2-bit 量化在 24GB 内存中运行,平衡智能与速度;Nemotron 3.5 Bolt E4B 4GB 则优化每 GB 智能,用于快速对话智能体。
  • Super VL 和 Bolt 74B-A9B 现已可用,Bolt E4B 将于 10 月 23 日推出;三款开源模型覆盖从企业服务器到边缘设备和本地硬件的完整智能体部署范围。
  • Super VL 与 Nemotron Coalition 合作构建,在多模态智能体任务上达到领先准确率,参数规模约为 NVIDIA 最大推理模型的五分之一,并支持组织用自己的数据后训练和本地部署。
  • 众多组织正在对 Super VL 进行后训练和定制,包括 Scale AI、AfterQuery、AI21、Mercor、ModelScope 等,覆盖金融、网络安全、编码、医疗和科学发现等场景。

关键数据

  • Super VL 为 1200 亿参数,准确率与 NVIDIA 最大推理模型相当,参数规模约为其五分之一。
  • Super VL 在 Artificial Analysis Intelligence Index 上吞吐量最高可达同类模型的 5 倍。
  • Bolt 74B-A9B 24GB 使用原生 2-bit 量化,可在 24GB 内存中运行。
  • Bolt E4B 4GB 将于 10 月 23 日推出。
  • Super VL 训练使用约 26 万亿 tokens,后训练约 380 万样本。
  • 使用 NVIDIA Dynamo 可服务多达 8 倍用户,延迟降低 85%。
  • Bolt 74B-A9B 24GB 在 PinchBench 上为同类第一开源模型,在 BrowseComp 上为第二开源模型。

引语

  • 5x faster than the next best
  • the #1 open model in its class on PinchBench

为什么值得看:NVIDIA 通过开源模型家族覆盖从数据中心到桌面的智能体部署,让组织能在自有基础设施上后训练和运行模型,兼顾能力、可部署性与数据隐私。

站内导航