20、大规模数据采集：用于现实世界AI的网络爬虫架构

大规模数据采集：用于现实世界AI的网络爬虫架构

1. 网络爬虫架构概述

典型的网络爬虫架构由多个组件构成，每个组件都有其独特的职责，这些职责有助于我们设计软件架构。以下是各组件的详细介绍：
- 前沿（Frontier） ：维护一个待爬取的URL数据库，初始时会填充会议网站的URL，之后会添加网站上各个页面的URL。
- 获取器（Fetcher） ：接收一个URL，并获取对应的文档。
- 解析器（Parser） ：对获取到的文档进行解析，并从中提取所需信息。目前暂不关注特定的演讲者细节或与会议相关的特定内容。
- 策略工作器或生成器（Strategy Worker/Generator） ：是网络爬虫中至关重要的组件之一，它决定了爬取的范围。策略工作器生成的URL会反馈回前沿。它负责决定以下内容：
- 应跟随哪些链接
- 待爬取链接的优先级
- 爬取深度
- 必要时重新访问/重新爬取页面的时间
- 项目存储（Item Store） ：用于存储提取的文档或数据。
- 调度器（Scheduler） ：接收一组URL（初始为种子URL），并调度获取器下载资源。调度器负责确保爬虫对网站服务器表现得礼貌，避免重复获取URL，并对URL进行规范化处理。

下面是网络爬虫组件的mermaid流程图：

graph L