英文原标题:Exowatt beats frontier models on accuracy with SageMaker serverless model customization

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Exowatt 为太阳能系统构建 AI 代理,用于监控和分诊实时告警,但面临任务专有、边缘无 GPU 且常无网络、以及大规模部署成本过高三大挑战,前沿模型无法直接满足需求。
  • Exowatt 采用 Amazon SageMaker AI 无服务器模型定制,基于 Qwen3-1.7B 和 Qwen3-14B 分别针对边缘告警分诊和云端能源市场分析进行微调,形成可重复的 AI 流水线。
  • 该流水线涵盖模型定制、边缘部署和云部署三个阶段:边缘模型量化为 GGUF 格式并用 llama.cpp 在 Kubernetes 中运行;云端模型通过 Amazon Bedrock Custom Model Import 提供服务,无空闲成本。
  • 相比前沿模型,微调后模型在特定任务上准确率更高,成本最多降低 49 倍;流水线使 Exowatt 能在数天内完成从原始数据到部署产物的全过程,而非数月。
  • 方案利用 SageMaker Public Hub 的现成微调配方和按需分配的无服务器训练,避免了自建训练容器和 GPU 容量管理,支持团队每天多次实验。

关键数据

  • 成本最多降低 49 倍
  • 边缘模型为 Qwen3-1.7B,云端模型为 Qwen3-14B
  • 每个候选模型评估 2000 个答案
  • 训练数据中每个答案生成三个改写版本

为什么值得看:它展示了如何用无服务器微调流水线,以低成本、高准确率将通用模型转化为可边缘部署的专用模型,解决物理基础设施中的实际运维难题。

站内导航