超级会员免费看
本文详细介绍了如何使用scrapy-redis构建分布式爬虫。内容包括scrapy和scrapy-redis的区别，scrapy-redis的架构，以及如何安装、配置和测试redis。还提供了scrapy-redis的示例项目，包括dmoz、myspider_redis和mycrawler_redis的使用，并解释了如何通过redis管理去重和存储爬取数据。最后，给出了爬取百度百科和人民网新闻的实例。
Scrapy 和 scrapy-redis的区别
Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。
pip install scrapy-redis
Scrapy-redis提供了下面四种组件（components）：(四种组件意味着这四个模块都要做相应的修改)
SchedulerDuplication FilterItem PipelineBase Spider
scrapy-redis架构
如上图所⽰示，scrapy-redis在scrapy的架构上增加了redis，基于redis的特性拓展了如下组件：
Scheduler：
Scrapy改造了python本来的collection.deque(双向队列)形成了自己的Scrapy queue(<
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
