Python爬虫教程012：Scrapy框架

1：Scrapy框架简介

什么是框架？

就是一个集成了很多功能并且具有很强通用性的一个项目模板

如何学习框架？

专门学习框架封装的各种功能的详细方法

什么是scrapy？

爬虫中封装好的一个明星框架
功能：高性能的持久化存储、异步的下载、高性能的数据解析、分布式

2：Scrapy框架安装

以windows系统为例：

pip install wheel

下载twisted（scrapy是借助twisted实现异步下载的）下载地址为 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
安装twisted：
注意，需要先cd到这个文件所在的目录，再执行：

pip install Twisted‑17.1.0‑cp36‑cp36m‑win_a