Scrapy配置Redis集群

最新推荐文章于 2024-08-29 13:25:49 发布

原创

最新推荐文章于 2024-08-29 13:25:49 发布 · 997 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了如何在Scrapy项目中配置使用Redis集群。首先，通过pip安装了scrapy-redis-sentinel库。接着，详细说明了需要在settings.py文件中进行的修改，以及对spider的调整。同时，提到了已解决的一个bug，该bug在使用默认爬取队列时导致错误。修复方法是将PriorityQueue源码替换。如需了解更多关于Redis集群的搭建，可以参考作者的另一篇博客。

安装第三方库

pip install scrapy-redis-sentinel

修改 setting.py文件

ITEM_PIPELINES = { 
    'scrapy_redis_sentinel.pipelines.RedisPipeline': 543,
}

# Bloomfilter 配置
# 使用的哈希函数数，默认为 6
BLOOMFILTER_HASH_NUMBER = 6

# Bloomfilter 使用的 Redis 内存位，30 表示 2 ^ 30 = 128MB，默认为 30   (2 ^ 22 = 1MB 可去重 130W URL)
BLOOMFILTER_BIT = 30

# 是否开启去重调试模式 默认为 False 关闭
DUPEFILTER_DEBUG = False

# Redis 集群地址
REDIS_MASTER_NODES = [
    {"host": "192.168.56.30", "port": "9000"},
    {"host": "192.168.56.31", "port": "9000"},
    {"host": "192.168.56.32", "port": "9000"},
]

# REDIS_CLUSTER_PARAMS 集群模式配置参数
REDIS_CLUSTER_PARAMS= {
    # "password": "password"
}

# scrapy其他参数
# 在 redis 中保持 scrapy-redis 用到的各个队列，从而允许暂停和暂停后恢复，也就是不清理 redis queues
SCHEDULER_PERSIST = True
# 调度队列
SCHEDULER = "scrapy_redis_sentinel.scheduler.Scheduler"
# 去重
DUPEFILTER_CLASS = "scrapy_redis_sentinel.dupefi