PulsarRPA 教程 11 - 大规模采集

大规模采集

烂程序员关心的是代码。好程序员关心的是数据结构和它们之间的关系。
– Linus Torvalds

大规模提取 Web 数据非常困难。网站经常变化并且变得越来越复杂，这意味着收集的网络数据通常不准确或不完整，PulsarRPA 开发了一系列尖端技术来解决这些问题。

PulsarRPA 设计了一组数据结构来处理 URL 池的问题。这使得 PulsarRPA 不仅能同时处理数以百万计的 URL，还能够准确定义这些 URL 的行为。

运行连续采集时，URL 会添加到 URLPool 中。URLPool 包含各种精心设计的 URLCache 来满足不同的需求，例如，优先任务、延时任务、截止日期、外部加载等等。

通过组合 URLCache 和 LoadOptions，我们可以满足最复杂的采集需求。

在大规模采集场景下，硬件资源需要被极致利用。为此需要调整默认设置，并行启动更多的隐私实体，每个浏览器需要打开更多标签页，这两个设置决定了系统能够并行采集多少网页，它通常受限于机器的硬件配置，尤其是内存大小，我们建议在大规模采集场景下，内存至少要 32 G。

BrowserSettings.privacy(5).maxTabs(15).headless()

本文演示如何通过不同的 URLCache 来满足不同的采集要求。

首先创建 Pulsar 会话并准备一批测试用的 URL：

val session = PulsarContexts.createSession(