英文原标题:Optimizing cost per task and proving agent ROI on Amazon Bedrock

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • 文章指出,评估模型成本应关注“每任务成本”而非“每token成本”,因为定价页上的单价不能反映实际支出。
  • 四个隐藏成本驱动因素:分词器效率(不同模型对相同文本的分词数量不同)、输出冗长度(输出token通常比输入token贵3-5倍)、代理循环效率(多轮工具调用会重复发送历史上下文)、推理开销(推理token按输出token计费)。
  • 通过一个示例说明:列表价格高2倍的模型B,由于分词效率更高、输出更简洁、只需单轮调用,每任务成本反而比模型A低65%。
  • 计算每成功任务成本需考虑失败重试或升级成本,公式为:重试场景下成本除以成功率,或尝试成本加上失败率乘以升级成本。
  • Bedrock提供CountTokens(估算输入token数)、模型调用响应中的usage块(含输入、输出及缓存token数)、模型调用日志(记录每次调用的token数)等工具,帮助在实际工作负载上测量成本。

关键数据

  • 输出token成本通常是输入token的3-5倍
  • 示例中模型A每任务成本$0.0042,模型B为$0.00145,模型B价格高2倍但成本低65%
  • 模型A分词后输入1500 token,模型B为1000 token;模型A输出450 token,模型B为150 token
  • 模型A需3轮调用,累计输入6150 token;模型B仅1轮,输入1000 token

引语

  • “每任务成本,而非每token成本”
  • “价格高2倍的模型成本低65%”

为什么值得看:文章提供了超越单价比较的实用框架,帮助团队准确计算AI代理的真实成本,并通过基准测试和实验证明其投资回报。

站内导航