scrapy_redis对接布隆过滤器(Bloom Filter)

xudailong_blog

于 2018-05-28 23:37:48 发布

阅读量3.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： python_bugs # scrapy 文章标签： scrapy scrapy_redis 布隆过滤器 bloom filter 崔庆才

本文链接：https://blog.youkuaiyun.com/xudailong_blog/article/details/80490390

本文介绍了如何使用scrapy_redis框架结合布隆过滤器（Bloom Filter）进行爬虫去重。关键配置包括设置DUPEFILTER_CLASS为Bloom Filter去重类，调整BLOOMFILTER_HASH_NUMBER和BLOOMFILTER_BIT以适应不同数据量级。项目源码可在GitHub找到，同时推荐了崔庆才大神在腾讯云+社区的相关学习资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用方式：

pip3 install scrapy-redis-bloomfilter

使用的方法和Scrapy-Redis基本相似，在这里说明几个关键配置。

# 去重类，要使用Bloom Filter请替换DUPEFILTER_CLASS
DUPEFILTER_CLASS = "scrapy_redis_bloomfilter.dupefilter.RFPDupeFilter"
# 散列函数的个数，默认为6，可以自行修改
BLOOMFILTER_HASH_NUMBER = 6
# Bloom Filter的bit参数，默认30，占用128MB空间，去重量级1亿
BLOOMFILTER_BIT = 30