使用Crawl4AI为Amazon Bedrock Knowledge Bases准备网页内容

英文原标题：Prepare web content for Amazon Bedrock Knowledge Bases with Crawl4AI

本文为英文原文的机器翻译摘要，原文见：AWS Machine Learning Blog ↗

• 文章介绍如何为 Amazon Bedrock Knowledge Bases 准备网页内容：优先使用托管的 Web Crawler 数据源连接器，当需要更精细控制时，可用开源 Python 爬虫 Crawl4AI 做预处理。
• Crawl4AI 预处理路径适用于需要结构化 Markdown、按 CSS 选择器限定提取区域、或附加自定义元数据（如来源 URL、抓取时间戳）的场景；处理结果写入 Amazon S3，再由知识库的 S3 数据源摄取。
• 示例工作流由 EventBridge 定时触发 ECS Fargate 任务，依次执行爬取、上传到 S3、启动 Bedrock Knowledge Bases 摄取作业；知识库负责解析、分块、嵌入、索引和检索。
• 该方案仅处理公开页面，不实现登录会话；对于需要认证的站点，建议先评估 Amazon Bedrock Web Crawler 的认证选项（基本、表单和 SAML 认证）。
• 文章强调这是对已知网页属性的批量摄取，而非推理时的实时网页访问（如 Web Grounding with Amazon Nova）。

关键数据

• Crawl4AI 是开源 Python 爬虫
• Amazon Bedrock Knowledge Bases 支持纯文本、HTML、Markdown、PDF 和 DOCX 等文档格式
• 示例默认在公有子网的 AWS Fargate 任务中运行
• Web Crawler 连接器支持基本、表单和 SAML 认证

为什么值得看：它提供了在托管 RAG 服务之外，用 Crawl4AI 对网页内容做可控预处理并接入 Amazon Bedrock Knowledge Bases 的完整参考架构。