本文指导如何在Scrapy项目中设置Redis管道，实现数据共享，避免重复抓取，并启用持久化调度，确保数据一致性。包括设置`ITEM_PIPELINES`、`DUPEFILTER_CLASS`、`SCHEDULER`和`SCHEDULER_PERSIST`，以及指定Redis服务器连接参数。
管道的指定
修改管道，指定共享的redis
ITEM_PIPELINES = {
'scrapy_redis.pipelines.RedisPipeline':300
}
调度器的指定
去除重复：
DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'
调度器：
SCHEDULER = 'scrapy_redis.scheduler.Scheduler'
持久化处理，保证数据的连贯性，保存没有爬取的
SCHEDULER_PERSIST = True
指定redis服务器地址：
REDIS_HOST = 'IP地址'
REDIS_PORT = 6379 (redis标准端口号)
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
