scrapy_redis对接布隆过滤器(Bloom Filter)

最新推荐文章于 2025-06-25 14:25:02 发布
原创 最新推荐文章于 2025-06-25 14:25:02 发布 · 3.2k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scrapy #scrapy_redis #布隆过滤器 #bloom filter #崔庆才

本文介绍了如何使用scrapy_redis框架结合布隆过滤器（Bloom Filter）进行爬虫去重。关键配置包括设置DUPEFILTER_CLASS为Bloom Filter去重类，调整BLOOMFILTER_HASH_NUMBER和BLOOMFILTER_BIT以适应不同数据量级。项目源码可在GitHub找到，同时推荐了崔庆才大神在腾讯云+社区的相关学习资源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

使用方式：

pip3 install scrapy-redis-bloomfilter

使用的方法和Scrapy-Redis基本相似，在这里说明几个关键配置。

# 去重类，要使用Bloom Filter请替换DUPEFILTER_CLASS
DUPEFILTER_CLASS = "scrapy_redis_bloomfilter.dupefilter.RFPDupeFilter"
# 散列函数的个数，默认为6，可以自行修改
BLOOMFILTER_HASH_NUMBER = 6
# Bloom Filter的bit参数，默认30，占用128MB空间，去重量级1亿
BLOOMFILTER_BIT = 30

  • DUPEFILTER_CLASS是去重类，如果要使用Bloom Filter，则DUPEFILTER_CLASS需要修改为该包的去重类。

  • BLOOMFILTER_HASH_NUMBER是Bloom Filter使用的散列函数的个数，默认为6，可以根据去重量级自行修改。

  • BLOOMFILTER_BIT即前文所介绍的BloomFilter类的bit参数，它决定了位数组的位数。如果BLOOMFILTER_BIT为30，那么位数组位

最低0.47元/天 解锁文章

200万优质内容无限畅学
Scrapy爬虫去重效率优化之Bloom Filter的算法的对接
学海无涯
06-10 4371
首先回顾一下Scrapy-Redis的去重机制。Scrapy-Redis将Request的指纹存储到了Redis集合中，每个指纹的长度为40，例如27adcc2e8979cdee0c9cecbbe8bf8ff51edefb61就是一个指纹，它的每一位都是16进制数。我们计算一下用这种方式耗费的存储空间。每个十六进制数占用4 b，1个指纹用40个十六进制数表示，占用空间为20 B，1万个指纹即占用空...
Scrapy 爬虫去重效率优化之 Bloom Filter的算法的对接
墨鱼菜鸡
07-11 430
From：https://cloud.tencent.com/developer/article/1084962 Python分布式爬虫打造搜索引擎Scrapy精讲—将bloomfilter(布隆过滤器)集成到scrapy-redis中https://www.cnblogs.com/adc8868/p/7442306.html scrapy redi...
ScrapyRedisBloomFilterBlockCluster:带有Bloom Filter的Scrapy Redis，支持redis前哨和群集
05-28
ScrapyRedisBloomFilterBlockCluster ScrapyRedisBloomFilterBlockCluster 基于 scrapy-redis + bloomfilter 算法去重，支持分配多个 Redis 内存块（ Redis 1个 string 最大 512MB），并且支持 Redis 单机，Redis Sentinel 和 Redis-Cluster 集群，适用于超大型分布式 scrapy 爬虫。 本项目基于以下项目修改： 基于 python 3.7，scrapy 1.8.0，并且在单机 Redis 3.2.100，Redis Sentinel 5.0.5 以及集群 Redis Cluster 5.0.7 上测试通过。 安装 使用 pip: pip install scrapy-redis-bloomfilter-block-cluster 依赖： twi
scrapy-redis分布式爬虫-----布隆过滤器
qq_41293711的博客
09-28 887
今天爬取数据结果内存占用率太高，然后说是去重机制的问题，然后使用布隆过滤器解决了这个问题，顺便写一篇博客来记录布隆过滤器。 什么是布隆过滤器 如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合中元素的增加，我们需要的存储空间越来越大，检索速度也越来越慢。不过世界上还有一种叫作散列表（又叫哈希表，Hash ta...
redis8.0新特性：布隆过滤器（Bloom Filter）详解
最新发布
秃了也弱了
06-25 685
布隆过滤器的概念就不重复啰嗦了（数据不存在则一定不存在，数据存在不一定不存在）。redis8.0以前使用布隆过滤器是很麻烦的，基本上需要基于BitMap/BitSet自定义封装。Redis8.0将布隆过滤器功能内置了，使用redis客户端可以直接使用布隆过滤器了。
scrapy过滤(redis + bloomfilter)
qq_42832858的博客
07-26 5639
我在pipeline里面添加了如下代码(网上查的) class SimpleHash(object): def __init__(self, cap, seed): self.cap = cap self.seed = seed def hash(self, value): ret = 0 for i in rang...
推荐使用：Scrapy-Redis-BloomFilter - 超级强大的去重利器
gitblog_00021的博客
06-03 400
推荐使用：Scrapy-Redis-BloomFilter - 超级强大的去重利器 去发现同类优质开源项目:https://gitcode.com/ 在大数据爬虫领域，有效地去除重复数据是一项至关重要的任务。为此，我们向您隆重推荐一个开源项目——Scrapy-Redis-BloomFilter，它是一个专门针对Scrapy-Redis框架设计的布隆过滤器插件，能帮助您的爬虫轻松实现高效的去重功能。...
scrapy--基于Redis的Bloomfilter去重
huangwencai123的博客
05-22 478
scrapy–基于Redis的Bloomfilter去重 本文代码去重对象是item class RedisPipeline(object): def __init__(self, redis_uri, redis_db): self.redis_uri = redis_uri self.redis_db = redis_db @classme...
ScrapyRedisBloomFilter 用法 scrapy redis url 过滤
从零开始学习python --zeropython
06-10 431
安装 Python pip install scrapy-redis-bloomfilter 12 pip install scrapy-redis-bloomfilter ...
Scrapy Redis Bloomfilter: 提升Web抓取效率与准确性
gitblog_00030的博客
03-27 385
Scrapy Redis Bloomfilter: 提升Web抓取效率与准确性 去发现同类优质开源项目:https://gitcode.com/ 在数据挖掘和互联网信息提取领域， 项目就是这样一个创新实践，它引入了Bloom Filter数据结构，进一步提升了爬虫的性能。 项目简介 Scrapy_Redis_Bloomfilter 是一个基于Scrapy和Redis构建的分布式爬虫项目，利用Blo...
scrapy-redis + Bloom Filter分布式爬取tencent社招信息
weixin_30765577的博客
06-11 352
scrapy-redis + Bloom Filter分布式爬取tencent社招信息 什么是scrapy-redis 什么是 Bloom Filter 为什么需要使用scrapy-redis + Bloom Filter 目标任务 安装爬虫 创建爬虫 编写items.py 编写spiders/tencent.py 编写pipelines.py 编写...
scrapy-redis, 基于Redis的组件组件.zip
09-18
scrapy-redis, 基于Redis的组件组件 scrapy 基于redis的组件组件。自由软件：MIT许可证文档：https://scrapy-redis.readthedocs.org 。python 版本：2.7，3.4 特性分
使用布隆去重代替scrapy_redis(分布式爬虫)自带的dupefilter
ophlr
09-28 2010
使用布隆去重代替scrapy_redis(分布式爬虫)自带的dupefilter Github下载链接：https://github.com/liyaopinner/BloomFilter_imooc 精简版百度云盘链接: https://pan.baidu.com/s/11a_K_6WTifeHTG8lIY5ckQ 提取码: kq73 安装mmh3库 a>使用布隆去重之前需要安装mmh3...
scrapy去重原理,scrapy_redis去重原理和布隆过滤器的使用
菜鸡小白的成长记录
10-17 5161
1.去重的应用场景： 如果你只是做一些简单的爬虫，可能不会遇到这种问题，可是如果你正在做一个大型的全站爬虫，或是一个持久化的爬虫，那你一定会遇到这样的问题：刚开始爬虫速度还可以，随着待爬取的队列达到数亿级甚至更多的时候，爬虫会变得非常慢，为什么会出现这样的问题呢？ 我们以scrapy为例来说明并解决这个问题。 2.scrapy去重原理 Scrapy 有自动去重功能，它的去重使用了 Python 中的集合。这个集合记录了 Scrapy 中每个 Request 的指纹，这个指纹实际上就是 Request 的散列
python+redis布隆过滤器
爱喝水的木子的博客
02-26 376
【代码】python+redis布隆过滤器。
从理论到实战：布隆过滤器解决Redis缓存穿透问题
running_yang的博客
02-25 570
本文实现的布隆过滤器完整代码已打包上传关键收获理解布隆过滤器的空间效率与误判率之间的权衡掌握生产环境中防止缓存穿透的完整解决方案学会通过内存映射优化大数据量场景的性能扩展阅读Redis官方文档关于缓存击穿的防护建议Google Guava库的BloomFilter实现分析。
Redis-布隆过滤器
ngczx的博客
01-31 487
Redis-布隆过滤器的应用
python模块之redisbloom redis布隆过滤器
局外人LZ的博客
11-09 829
RedisBloom 是一个 Redis 模块，提供了布隆过滤器（Bloom Filter）、计数器（Count-Min Sketch）、Top-K（Top-K）、Top-K with expiry（Top-K with Expiration）和多样本（Cuckoo Filter）等数据结构的实现。它通过将这些数据结构存储在 Redis 中，为应用程序提供了高效的数据处理和查询功能。布隆过滤器（Bloom Filter）：布隆过滤器是一种高效的数据结构，用于快速判断一个元素是否存在于集合中。
python redis 布隆过滤器实现
u011342224的博客
11-03 1097
如果想判断一个元素是不是在一个集合里，一般想到的是将集合中所有元素保存起来，然后通过比较确定。链表、树、散列表（又叫哈希表，Hash table）等等数据结构都是这种思路。但是随着集合中元素的增加，我们需要的存储空间越来越大。同时检索速度也越来越慢，上述三种结构的检索时间复杂度分别为 O(n),O(log n),O(1)。
Scrapy Redis Bloomfilter过滤器安装指南
### Scrapy Redis布隆过滤器的使用 在Scrapy框架中，使用Redis作为后端存储可以提高爬虫的性能和稳定性。布隆过滤器可以在使用Redis存储数据时提供快速的数据去重功能。当我们使用Scrapy框架结合Redis进行爬取时，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值