Scrapy-Redis分布式爬虫全解析

scrapy_redis概念作用和流程

学习目标

1. 了解 分布式的概念及特点

2. 了解 scarpy_redis的概念

3. 了解 scrapy_redis的作用

4. 了解 scrapy_redis的工作流程

---

在前面scrapy框架中我们已经能够使用框架实现爬虫爬取网站数据,如果当前网站的数据比较庞大, 我们就需要使用分布式来更快的爬取数据

1. 分布式是什么

简单的说 分布式就是不同的节点（服务器，ip不同）共同完成一个任务

2. scrapy_redis的概念

scrapy_redis是scrapy框架的基于redis的分布式组件

3. scrapy_redis的作用

Scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在：

通过持久化请求队列和请求的指纹集合来实现：

• 断点续爬

• 分布式快速抓取

4. scrapy_redis的工作流程

4.1 回顾scrapy的流程