新闻 · AWS Machine Learning Blog
ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理
ArisGlobal 在 Amazon Bedrock 上运行其生命科学 AI 引擎 NavaX。通过缓存共享的提示前缀而非每个案例的文档,ArisGlobal 将有效输入成本降低了约 50%,整体月度推理支出降低了约 40%,同时在不增加相应成本的情况下接入了更多租户。
en
新闻 · AWS Machine Learning Blog
ArisGlobal 在 Amazon Bedrock 上运行其生命科学 AI 引擎 NavaX。通过缓存共享的提示前缀而非每个案例的文档,ArisGlobal 将有效输入成本降低了约 50%,整体月度推理支出降低了约 40%,同时在不增加相应成本的情况下接入了更多租户。
英文原标题:How ArisGlobal scaled generative AI inference on Amazon Bedrock
本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗
为什么值得看:本文展示了如何通过调整提示缓存顺序来应对提示膨胀和成本增长,对使用 Amazon Bedrock 构建多租户生成式 AI 应用具有参考价值。