英文原标题:NarrateAI: production-ready LLM quality assurance on Amazon Bedrock

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • NarrateAI 是面向 4000 多名 AWS 高管的企业级对话式 AI 助手,基于 Amazon Bedrock 和 Bedrock AgentCore 构建,采用自动叙事生成层与实时对话层两层架构。
  • 实时层面临幻觉指标、API 限流、验证延迟和主观语言等生产风险,文章提出五项质量保障技术:自适应流水线编排、跨账户多模型故障转移、实时流式评估、复合评估框架和数据准确性验证。
  • 自适应流水线编排根据检索数据量将查询分为快速路径(约 90%,单次 LLM 调用,TTFT 数秒内,总延迟通常低于 25 秒)和普通路径(约 10%,并行批处理加条件合并)。
  • 跨账户多模型故障转移利用独立模型账户配额空间扩展推理容量,减少用户可见的限流;实时流式评估在每段生成时即验证,与生成重叠进行。
  • 复合评估框架并行运行多个独立评估器;数据准确性验证采用两阶段级联,先精确匹配再按需语义验证,以捕获数值幻觉。

关键数据

  • 服务超过 4000 名 AWS 高管
  • 约 99% 数值准确率
  • 约 90% 查询走快速路径,约 10% 走普通路径
  • 快速路径总延迟通常低于 25 秒
  • 模型上下文窗口通常为 200K tokens

引语

  • approximately 99 percent numerical accuracy
  • approximately 90 percent take this path

为什么值得看:文章详细展示了在 Amazon Bedrock 上构建生产级 LLM 质量保障的五项工程实践,对构建高准确性、低延迟 LLM 应用的工程师和架构师具有直接参考价值。

站内导航