英文原标题:Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips

本文为英文原文的机器翻译摘要,原文见:AWS Machine Learning Blog ↗

  • Exa 为构建语义搜索索引,需嵌入数百亿网页文档,嵌入成本直接影响单位经济性,因此优化硬件性能与成本至关重要。
  • 在回填 300 亿优先文档时,嵌入负载翻倍,促使 Exa 重新评估硬件,选择 AWS Inferentia2 和 Trainium2 进行推理优化。
  • 通过权重布局优化、自动混合精度、NKI 内核、自定义融合 SwiGLU MLP 内核及减少 FLOPS 等步骤,最终实现每百万文档嵌入性能与成本改善 47%。
  • 优化过程由智能体驱动,在 Flyte 工作流中验证正确性(余弦相似度需达 0.999)、测量性能并分析瓶颈,不同智能体分工控制成本。
  • Exa 在多个区域调度计算,避免因锁定单一区域或实例类型导致算力短缺和服务降级。

关键数据

  • 回填 300 亿高优先级文档
  • 最终性能与成本改善 47%
  • 正确性门槛为余弦相似度 0.999
  • 基准测试运行 30 分钟
  • 使用 inf2.xlarge 实例(单芯片双 NeuronCore)

引语

  • “我们的最终版本在每百万文档嵌入的性能和成本上比初始基线提升了 47%。”

为什么值得看:Exa 展示了如何通过软硬件协同优化和智能体工作流,在大规模嵌入任务中显著降低单位成本,对构建大规模语义索引的团队具有参考价值。

站内导航