13、基于DHT的分布式网络爬虫系统的自适应重爬策略

基于DHT的分布式网络爬虫系统的自适应重爬策略

在分布式网络爬虫系统中，为了有效管理和更新网页内容，需要合理安排重爬间隔。由于系统规模和网页变化频率的不确定性，传统的固定重爬策略往往不能很好地适应系统的动态变化。因此，提出了两种自适应重爬策略：迭代间隔重新分配（IIR）和迭代容量重新分配（ICR）。

1. 自适应重爬策略概述

在系统中，根据网页的变化频率将频道分为不同的优先级组（PGP）。变化频率高的频道被分配到高优先级组，每个优先级组的初始重爬时间间隔由组内频道的平均变化频率决定。然而，仅根据网站特性确定的重爬间隔可能与系统容量不匹配，所以需要开发算法自动调整重爬间隔以适应系统规模。

2. 迭代间隔重新分配（IIR）策略

• 基本思想 ：定期根据PGP的最新更新记录为每个PGP重新分配新的更新间隔。当最高优先级组中50%的频道自上次重新分配以来完成了5次以上的成功重爬（更新）时，触发重新分配过程。该过程在一个独立线程中运行，不影响系统的爬取序列。
• 具体步骤 ：
  1. 为每个频道添加3条记录：
     • historyInterval（hInterval）：自上次重新分配以来的更新平均时间间隔。
     • historyRecrawlCount（hSubCount）：自上次重新分配以来提交给爬虫的重爬任务数量。
     • historySuccessCount（hSucCount）：自上次重新分配以来的更新次数。
     </