爬虫中的去重处理方法详解

• 去重实现的基本原理

  • 根据给定的判断依据和给定的去重容器，将原始数据逐一进行判断，判断去重容器中是否有该数据。如果没有那就把该数据对应的判断依据添加去重容器中，同时标记该数据是不重复数据；如果有就不添加，同时标记该数据是重复数据。

    • 判断依据（原始数据、原始数据特征值）

    • 去重容器（存储判断数据） set()

根据原始数据进行去重判断

根据原始数据的特征值进行去重判断

临时去重容器与持久化去重容器

• 临时去重容器指如利用list、set等编程语言的数据结构存储去重数据，一旦程序关闭或重启后，去重容器中的数据就被回收了。
  • 使用与实现简单方便；但无法共享、无法持久化
• 持久化去重容器指如利用redis、mysql等数据库存储去重数据。
  • 持久化、共享；但使用与实现相对复杂