Scrapy框架官方网址：http://doc.scrapy.org/en/latest


Scrapy框架

  • Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。

  • 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。

  • Scrapy 使用了 Twisted['twstd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。


Scrapy架构

wKiom1nh1MOyIuZHAAFpjzZmo4w245.png

绿线为数据流向

  • Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

  • Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队(Queue)，当引擎需要时，交还给引擎。

  • Downloader(下载器)：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。

  • Spider(爬虫)：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。

  • Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理(详细分析、过滤、存储等)的地方。

  • Downloader Middlewares(下载中间件)：你可以当作是一个可以自定义扩展下载功能的组件。

  • Spider Middlewares(Spider中间件)：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件(比如进入Spider的Responses;和从Spider出去的Requests)。


Scrapy运作流程

  1. spider将需要处理的url发送给引擎

  2. 引擎将request交给调度器

  3. 调度器将request排序入队,引擎需要时返回给引擎

  4. 引擎将返回的request交给下载器

  5. 下载器进行下载后,将下载好的东西返回给引擎(如果下载失败,下载器将告知引擎下载失败,引擎会告诉调度器，这个request下载失败了，你记录一下，我们待会儿再下载)

  6. 引擎将下载器返回的东西返回给spider

  7. spider对响应进行处理,将处理好的Item数据和需要跟进的url交给引擎

  8. 引擎将Item数据交给管道处理,将url交给调度器处理,即从第三步开始循环,直到获取完所需要的全部url

  9. 管道文件对Item数据进行处理


制作Scrapy的步骤

  1. 创建爬虫项目

  2. 确定要爬取的数据(编写items.py文件)

  3. 确定爬取url,对response提取数据(编写蜘蛛文件)

  4. 进行数据存储(编写pipelines文件)