英文原标题:Building a self-service LLM gateway with Amazon Bedrock and LiteLLM

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • 文章介绍如何用 Amazon Bedrock Application Inference Profiles 配合运行在 AWS Fargate 上的 LiteLLM 构建自助式 LLM 网关,把 Bedrock 抽象为 OpenAI 兼容 API,开发者用单一 API 密钥即可访问基础模型。
  • 请求链路为:开发者 OpenAI 兼容客户端经 Route 53、CloudFront、ALB 到达 LiteLLM,LiteLLM 用 RDS PostgreSQL 保存虚拟密钥与花费状态、ElastiCache for Valkey 做缓存与跨任务限流、Secrets Manager 管理密钥,最后通过受限 IAM 任务角色调用 Bedrock 推理配置文件。
  • 每个模型(如 Claude Sonnet、Claude Haiku)单独配置推理配置文件,实现按模型配额隔离;CloudWatch 采集 RPM/TPM 指标和配额告警,Langfuse 提供提示级可观测性。
  • LiteLLM 配置需为原始推理配置文件 ARN 显式设置每 token 成本,否则成本默认为 0,导致按密钥的花费统计失效、预算无法执行;主密钥和数据库凭据应通过环境变量从 Secrets Manager 注入,而非硬编码。
  • LiteLLM 开源网关免费版最多支持 5 个用户,文中所述的自助密钥签发需要 Enterprise 版本;开发者只需在 Claude Code、Continue、Cursor 等工具中配置 base URL 和 API 密钥。

关键数据

  • LiteLLM 开源网关免费支持最多 5 个用户,超出需许可证
  • 示例中每密钥预算为 250,滚动 7 天窗口,最大并行请求 10
  • 示例超时设置:Sonnet 为 900 秒(15 分钟,用于扩展思考),Haiku 为 120 秒
  • 示例每 token 成本:Sonnet 输入 0.000003、输出 0.000015;Haiku 输入 0.000001、输出 0.000005

为什么值得看:文章给出了一套可落地的网关模式,让平台团队获得按用户成本控制与模型性能可观测性,同时开发者无需直接接触 Bedrock 即可自助使用编码助手。

站内导航