英文原标题:Introducing usage-based pricing for Amazon SageMaker AI bidirectional streaming

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • AWS 宣布为 Amazon SageMaker AI 双向流式推理推出基于用量的计量功能,使模型提供商能向 AWS Marketplace 报告实际使用量并据此收费,而 SageMaker AI 端点基础设施费用仍单独收取。
  • Deepgram 作为首发合作伙伴,将基于用量的语音转文本(STT)和文本转语音(TTS)计费引入 AWS Marketplace,延续了双方在双向流式推理、IAM 临时委派和可观测性方面的合作。
  • 原有按请求-响应计费依赖 HTTP 响应头报告单元数,但双向流式会话可持续 30 秒到 30 分钟,用量在会话结束时才确定,响应头无法在会话中报告周期性用量。
  • 解决方案是引入伴随元数据流:模型服务器在 WebSocket 升级响应中返回 X-Amzn-SageMaker-Metadata-Stream-Supported: true 以选择加入,SageMaker AI 随后在 /invocations-bidirectional-stream-metadata 打开第二个 WebSocket,双方通过相同的 X-Amzn-SageMaker-Request-Id 关联计量记录与会话。
  • 计量数据以 JSON 文本帧发送,每帧一条记录,使用 inference.count 维度,ConsumedUnits 提供数量,ClientToken 支持幂等;元数据流速率配额为每连接每秒一条消息,最大消息 512 字节。

关键数据

  • 双向流式会话可持续 30 秒到 30 分钟
  • 元数据流速率配额为每连接每秒一条消息,最大消息大小 512 字节
  • 示例计量记录:Dimension 为 inference.count,ConsumedUnits 为 720
  • 若按每秒音频计费,12 分钟计量音频对应 720 秒,即 ConsumedUnits: 720
  • AWS Marketplace 列表显示每单元一个价格,标注为 per request,最多三位小数
  • X-Amzn-SageMaker-Metadata-Stream-Required 默认为 false

引语

  • X-Amzn-SageMaker-Metadata-Stream-Supported: true
  • ConsumedUnits: 720

为什么值得看:该功能让实时语音 AI 等流式工作负载的 AWS Marketplace 软件收费与实际用量对齐,同时保留端点基础设施费用,为模型提供商和客户提供了更透明的计费基础。

站内导航