英文原标题:Access OpenAI GPT models on Amazon Bedrock from Canada with cross-Region inference

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • 加拿大区域的 AWS 客户现在可以通过 Amazon Bedrock 的跨区域推理(CRIS)功能,从加拿大(中部)和加拿大西部(卡尔加里)区域访问 OpenAI 的 GPT-5.6、GPT-6 和 GPT-6.1 系列模型。
  • 跨区域推理是一种容量机制:应用程序调用源区域的 Bedrock Runtime 端点,Bedrock 将请求路由到支持的目标区域进行处理,从而获得更大的容量池以应对需求高峰,且无需在应用中管理目标区域路由。
  • 可用的 OpenAI 模型包括 GPT-5.6(Sol、Terra、Luna)、GPT-6(Astra、Sol、Luna)和 GPT-6.1 Sol,这些模型支持文本和图像输入、返回文本,具有 100 万 token 的上下文窗口、推理模式和工具调用功能,并支持提示缓存。
  • 从加拿大可用的推理配置文件有两种:US 地理配置文件(前缀 us.)将请求路由到加拿大源区域和美国区域,适合需要推理处理留在北美的工作负载;全球配置文件(前缀 global.)将请求路由到模型部署的所有支持商业区域,以利用更广泛的容量池。
  • 文章还介绍了设置权限(包括 IAM 策略和 SCP 考虑)、使用 OpenAI Responses API、Chat Completions API 和 Bedrock Converse API 调用模型的方法,以及如何请求配额增加、查看源区域的可观测性信号和清理资源。

关键数据

  • 模型上下文窗口为 100 万 token
  • GPT-5.6 的全球配置文件仅从 ca-central-1 可用;从 ca-west-1 需使用 US 地理配置文件
  • 需要 Python 3.9 或更高版本,并安装 openai、boto3 和 aws-bedrock-token-generator 包

为什么值得看:本文说明了加拿大组织如何通过跨区域推理在 Amazon Bedrock 上使用 OpenAI 最新模型,并提供了权限配置和 API 调用的具体指导。

站内导航