scrapy的去重原理

对于每一个url的请求，调度器都会根据请求得相关信息加密（类似于MD5）得到一个指纹信息，并且将指纹信息和自己维护的一个集合中的url指纹信息进行比对，如果集合中已经存在这个指纹，就代表出现重复请求，就不再将这个Request放入队列中。如果集合中没有存在这个指纹，就将这个Request对象放入队列中，等待被调度。
 

一般在request请求的参数中加入dont_filter=False可以关闭去重，方便重复爬取同一网站下不同页面的信息。也可以通过修改爬取规则如start_url等或自定义爬取url作为请求的参数以避免不必要的去重。

 

至于数据去重我一般有两种方法：自己利用python的集合类型在pipeline中加入去重的功能，是最简单无脑的方法；另外是在入库时进行去重，例如在Mysql中设置唯一索引或者在Redis中使用集合等等，这样的话对爬虫爬取效率的影响会比较小，但会增加数据库的负担。