基于scrapy-redis的分布式爬虫配置

最新推荐文章于 2025-05-01 01:00:53 发布

一只瘦熊啊

最新推荐文章于 2025-05-01 01:00:53 发布

阅读量172

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/finejade1027/article/details/96437691

本文介绍如何利用Scrapy-Redis实现分布式爬虫。通过安装配置，可以在Redis中进行去重、调度请求等操作，支持爬虫暂停及恢复功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基于scrapy的爬虫只能是单机式爬虫，而借助scrapy-redis可实现分布式爬虫

首先要安装scrapy-redis

pip install scrapy-redis

在此之前，应该已经装好了scrapy和redis
新建一个scrapy项目和爬虫文件

修改setting文件

# 使用scrapy_redis的去重组件，在redis数据库里做去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 使用scrapy_redis的调度器，在redis里分配请求
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 在redis中保持scrapy-redis用到的各个队列，从而允许暂停和暂停后恢复，也就是不清理redis queues
SCHEDULER_PERSIST = True
# 指定爬虫起始URL类型为set
REDIS_START_URLS_AS_SET = True
# 指定redis数据库的连接参数
REDIS_HOST = '192.168.1.11'
REDIS_PORT = 6379