英文原标题:Cut generative AI costs: Code for rules, models for judgment

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • 文章指出,生成式AI系统最大的成本杠杆在于是否调用模型。许多团队将输入验证、格式化、路由等任务都交给LLM,在原型阶段成本不明显,但生产规模下这些不必要的调用会成为架构中的主要开销。
  • 不必要的模型调用带来三重代价:费用随请求数增长、延迟叠加(每次调用增加数百毫秒)、输出不确定导致测试和审计困难。文章建议在模型选型之前先问:这一步真的需要模型吗?
  • 文章提出三步决策流程:首先看规则能否检查成功(如格式、模式、关键词、范围);其次看模型能否一次性生成规则(如正则表达式或JSON schema);最后看是否从固定列表中选择答案(如路由、分类、是/否)。若都不满足,才使用合适规模的模型。
  • 对于路由和分类任务,文章建议采用“决策而非生成”的方式,即从预定义选项中选择一个答案,并设置“不确定”选项以触发升级。实现方式包括:使用Amazon Bedrock小模型的结构化输出、嵌入相似度、Strands Decider(实验性开源决策模型)或在SageMaker AI上训练分类器。
  • 文章还介绍了确定性快速路径模式:先运行确定性检查,仅将规则无法解决的部分发送给模型。例如,关键词匹配可在毫秒级解决大部分意图路由请求。在AWS上,可使用Step Functions Choice状态、Lambda函数等组件实现。

关键数据

  • 每次模型调用增加数百毫秒延迟
  • 确定性代码的每次调用成本通常低几个数量级
  • Strands Decider的README报告:在短分类任务中,置信度0.9以上的答案正确率约95%
  • 如果规则能解决95%的请求,则只有1/20的请求会到达模型(示例算术,非基准测试)

为什么值得看:文章提供了一套可操作的方法,帮助团队在生成式AI架构中识别并消除不必要的模型调用,从而显著降低成本和延迟,并提高系统的确定性和可审计性。

站内导航