英文原标题:Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • 文章介绍如何用 AWS CDK 在 Amazon Bedrock 上部署 LiteLLM 网关,并集成 NVIDIA NeMo Switchyard 插件,让编码代理(如 Claude Code、Codex CLI)的请求在多个模型间路由。
  • Switchyard 的 LiteLLM 集成支持两种策略:Stage 路由读取请求历史中的工具调用与结果,在两个候选模型间选择;Random 路由按权重从配置模型中随机选择,用于流量拆分和 A/B 对比。
  • 评估路由效果应看“每个已解决任务的成本”,即总运行成本除以测试通过的任务数,而非单次调用的 token 价格,因为任务可能包含多次模型调用、重试甚至失败。
  • 示例架构中,LiteLLM 与 Switchyard 插件运行在 ECS Fargate 私有子网,经 WAF、ALB 和 Route 53 暴露,通过 Bedrock Converse API 调用模型,并使用 VPC 接口端点保持推理流量在 AWS 网络内。
  • 示例使用 switchyard-server 0.3.0 和 LiteLLM v1.102.0,属于实验性集成,配置和 API 可能随版本变化,仅用于非生产环境的评估与测试。

关键数据

  • switchyard-server 0.3.0 从 crates.io 安装,LiteLLM 使用 v1.102.0 镜像
  • Stage 路由需要恰好两个候选模型,Random 路由至少需要两个
  • 示例测试的模型对为 Claude Opus 5.5 和 NVIDIA Nemotron 3 Super 120B,在 US East (N. Virginia) 验证
  • LiteLLM 容器监听 4000 端口,CloudWatch 日志保留 30 天
  • ALB 仅转发 /v1/chat/completions、/v1/models 和 /health/liveliness 路径

引语

  • judge the routing by cost per solved task
  • This is sample code, for non-production usage.

为什么值得看:文章提供了在 Amazon Bedrock 上部署并评估编码代理模型路由的完整示例,帮助团队以“每个已解决任务的成本”而非 token 单价来衡量路由策略的实际效果。

站内导航