Octave 如何在 Amazon Bedrock 上构建安全的多租户 AI 基础

英文原标题：How Octave built a secure multi-tenant AI foundation on Amazon Bedrock

本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗

• Octave Reliance 为受监管行业提供质量管理平台，面临跨租户数据隔离的严格合规要求，决定先构建统一的 AI 基础平台而非单一功能。
• 该平台基于 Amazon Bedrock 构建，采用 Cohere Embed v4 进行文档嵌入，并利用 Amazon OpenSearch Service 实现每租户独立向量存储。
• 安全执行层通过 AgentCore Gateway 进行认证和策略控制，在隔离的 microVM 会话中调用 Anthropic Claude 模型，并用 Amazon Bedrock Guardrails 进行输入输出过滤。
• 设计需平衡四大矛盾：数据隔离、代理执行隔离、不可信内容读取（如提示注入）、以及高效嵌入 20 亿文档且保证质量。
• 该基础平台将每个用例的部署时间缩短了 50%，首个应用为投诉分诊助手，验证了架构在生产环境中的可行性。

关键数据

• 平台服务超过 14,000 家客户，覆盖医疗器械、制药和食品制造行业。
• Octave 业务遍及 180 个国家，服务超过 60% 的全球财富 500 强企业。
• Reliance 系统支持超过 650 家企业客户和 40 多个应用。
• Reliance 托管超过 20 亿份文档，单个租户可存储数百万份文件。
• 部署时间每个用例减少 50%。
• Cohere Embed v4 支持 256–1,536 维可配置输出维度，并在美东（弗吉尼亚北部）、欧洲（爱尔兰）、亚太（东京）区域提供区域内推理。

引语

• “一次无意的披露从一家客户到另一家，将带来远超任何 AI 收益的监管后果。”
• “团队颠倒计划：先构建水平平台，再切入垂直功能切片。”

为什么值得看：本文展示了在严格数据隔离的 SaaS 平台中，如何基于 Amazon Bedrock 构建可复用的多租户 AI 基础架构，平衡安全、合规与效率，为类似场景提供参考。