英文原标题:Accessing OpenAI GPT models on Amazon Bedrock with global cross-Region inference in Thailand, Malaysia, Singapore, Indonesia, and Taiwan

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Amazon Bedrock 通过全球跨区域推理(global cross-Region inference)向泰国、马来西亚、新加坡、印度尼西亚和台湾的团队提供 OpenAI GPT-6 系列模型,以缓解单区域推理在需求超过本地容量时的限流问题。
  • GPT-6 系列包含三个模型:GPT-6 Sol 擅长复杂推理与编码,GPT-6 Luna 适合高并发的重复性任务,GPT-6 Astra 处理复杂推理、编码和长文档工作;三者均支持文本与图像输入、客户端工具调用和提示缓存。
  • 调用方式是在 bedrock-runtime 端点上传入全局跨区域推理配置文件 ID(如 global.openai.gpt-6-sol、global.openai.gpt-6-luna、global.openai.gpt-6-astra)替代模型 ID;源区域是发起 API 调用的区域,Bedrock 自动选择目标区域处理,计费、配额跟踪、CloudTrail 和 CloudWatch 均保留在源区域。
  • GPT-6 Sol 和 GPT-6 Luna 可从新加坡、雅加达、马来西亚、泰国和台北五个区域通过全球跨区域推理调用,GPT-6 Astra 仅从亚太(新加坡)调用;新加坡为默认启用区域,雅加达、马来西亚、泰国和台北为需先激活的 opt-in 区域。
  • 每个模型支持三种访问路径:Amazon Bedrock Converse API、OpenAI Responses API 和 OpenAI Chat Completions API;OpenAI 兼容 API 通过 /openai/v1 路径调用,端点接受 SigV4 或 Amazon Bedrock API key 认证。

关键数据

  • GPT-6 Sol 和 GPT-6 Luna 的推理努力级别支持 none、low、medium、high、xhigh 和 max;GPT-6 Astra 支持相同级别但不含 none。
  • 源区域包括 ap-southeast-1(新加坡)、ap-southeast-3(雅加达)、ap-southeast-5(马来西亚)、ap-southeast-7(泰国)、ap-east-2(台北)。
  • OpenAI 兼容示例需安装 boto3、openai 和 aws-bedrock-token-generator,命令为 pip install boto3 openai aws-bedrock-token-generator。
  • provide_token 生成的短期密钥有效期最长 12 小时。

为什么值得看:该文说明了东南亚及台湾团队如何借助全球跨区域推理突破单区域容量限制,调用最新的 OpenAI GPT-6 模型,并给出了配置、权限与监控的具体做法。

站内导航