python爬虫之scrapy框架入门，万字教学，从零开始到实战演练，超详细！！！（21）

前言

本篇文章，从底层出发详细介绍了scrapy框架的概念和流程，教会大家如何创建并运行自己的scrapy项目，通过实战案例快速了解scrapy项目的工作结构以及各种方法的使用，全文超20000字，逻辑结构清晰，初学者也能够快速掌握。

1、scrapy的概念和流程

1.1 学习目标

1. 了解 scrapy的概念
2. 了解 scrapy框架的作用
3. 掌握 scrapy框架的运行流程
4. 掌握 scrapy中每个模块的作用

1.2 scrapy的概念

Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。框架就是把之前简单的操作抽象成一套系统，这样我们在使用框架的时候，它会自动的帮我们完成很多工作，我们只需要完成剩余部分

• Scrapy 使用了Twisted['twɪstɪd]异步网络框架，可以加快我们的下载速度。
• Scrapy文档地址：