AWS 教程：Crawl4AI 预处理 Bedrock 网页

AWS 发布教程，介绍在 Amazon Bedrock Knowledge Bases 自带的托管网页爬虫之外，用开源 Python 爬虫 Crawl4AI 做预处理：只提取指定页面区域、去掉导航等模板内容，并为每页生成 Markdown 和元数据文件写入 Amazon S3，再由知识库的 S3 数据源摄取。 该方案面向已知网站的批量摄取，不适用于推理时的实时网页访问（如 Nova 的 Web Grounding）；只处理公开页面，不实现需要登录的会话；教程示例将首次爬取限制为一层链接、最多 25 页。每次运行按所配置的 Fargate 任务规格计费，默认为 2 vCPU、4 GB。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。