Scrapy-Redis手动添加添加去重url(指纹)
Scrapy-Redis是根据队列调度请求,新添加的排在后面。当队列的长度排了很长的队,但是有一种数据我不希望它排队,我希望它直接请求,但是需要跟队列用同一Redis去重。然后研究了一下Scrapy和Scrapy-Redis源码,实现手动添加指纹功能。dupefilter.py打开scrapy_redis.dupefilter.py文件,找到request_seen()方法在这里我们注意...
原创
2019-06-19 20:11:50 ·
884 阅读 ·
0 评论