英文原标题:How Airbnb uses cost per task to operate coding agents on Amazon Bedrock

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Airbnb 每周有数千名工程师通过内部工具 AirChat 使用编码代理,这些代理的模型请求经 LLM 网关发送到 Amazon Bedrock,Bedrock 在 AWS 内处理代码、提示和模型响应。
  • 由于新模型发布频繁(约五周内出现八个新模型),且发布时的基准图表无法反映 Airbnb 自身工作负载,Airbnb 采用双系统:上线前用自有任务运行评估,测量每个模型的得分和每任务成本;上线后通过可观测性观察生产变化。
  • 每任务成本定义为代理完成一个任务所用全部 token 的标价成本,评估会为每个模型和每种推理努力程度记录得分与成本,用于设定默认模型和努力上限,并由网关强制执行。
  • 在 CloudWatch 的 AWS/Bedrock 命名空间中,Airbnb 利用延迟指标(如 InvocationLatency、TimeToFirstToken、OutputTokenCount 及派生的 OTPS)、限流指标(如 InvocationThrottles、EstimatedTPMQuotaUsage)和成本指标(如 InputTokenCount、CacheReadInputTokenCount、CacheWriteInputTokenCount、OutputTokenCount)来诊断生产问题。
  • 架构上,工程师通过 AirDev 工作区或 AirChat Remote 运行代理,两条路径都经 LLM 网关访问 Bedrock;网关记录模型、客户端、团队和用户信息(仅用于聚合的成本与容量规划),CloudWatch 提供 token 数、延迟、错误和限流数据,与评估结果对比以决定是否调整默认设置或努力上限。

关键数据

  • 约五周内出现八个新模型
  • 到十月中旬,约三分之二的编码代理请求流向新模型
  • 在一个测试模型中,推理努力从低提高到高,得分提升 0.8 分,但每任务成本是原来的 2.5 倍
  • 评估套件共有七类任务

引语

  • 每任务成本是代理完成一个任务所用全部 token 的标价成本。

为什么值得看:本文展示了 Airbnb 如何结合评估与生产监控,以每任务成本为核心指标,在 Amazon Bedrock 上管理和优化编码代理的模型选择与运营成本。

站内导航