新闻 · AWS Machine Learning Blog
将多模型AI代理迁移至Amazon Bedrock AgentCore运行时
将一个多模型医疗AI代理从自管理的Amazon ECS（配合AWS Fargate）迁移至Amazon Bedrock AgentCore运行时，在保留三模型编排和向量增强知识检索的同时减少基础设施管理。这一框架无关的模式适用于医疗、金融服务和制造业。
en
英文原标题：Migrating multi-model AI agents to Amazon Bedrock AgentCore runtime
本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗
- 文章介绍如何将多模型医疗AI代理从自管理的Amazon ECS+Fargate迁移到Amazon Bedrock AgentCore runtime，以降低基础设施管理负担。
- AgentCore runtime提供托管部署能力，自动处理容器生命周期、扩缩容、身份认证和可观测性，让开发者专注于代理逻辑。
- 该代理通过Hugging Face smolagents框架实现，使用BYO代理方式，无需重写代码即可部署到AgentCore runtime，证明其框架无关性。
- 代理编排三个模型后端：Amazon SageMaker AI上的BioM-ELECTRA-Large-SQuAD2处理生物医学查询，Amazon Bedrock上的Llama 3.1 70B Instruct处理复杂医疗推理，以及容器化模型服务器。
- 解决方案使用Amazon OpenSearch Service进行向量增强的知识检索，三个后端均实现Hugging Face Messages API兼容，提供一致的请求和响应格式。
关键数据
- 三个模型后端：BioM-ELECTRA-Large-SQuAD2、Llama 3.1 70B Instruct、容器化BioM-ELECTRA
- 使用Python 3.10+、smolagents框架、transformers 4.55.0+、boto3
- 需要Node.js 20或更高版本、AWS CLI 2.0或更高版本
- 前文使用Claude 3.5 Sonnet V2，本文改用Llama 3.1 70B Instruct以展示模型无关性
为什么值得看：本文展示了如何将自管理的多模型代理迁移到托管运行时，减少基础设施运维开销，同时保持多模型编排和向量检索能力，为构建可扩展的代理应用提供了参考。