Scrapy爬虫学习（一）

使用Scrapy爬虫需要依赖比较多的库，所以在使用之前要把环境配置好

Lxml库

这是学习爬虫最基础的库了，应该不用多说。

zope.interface库

这个库直接使用命令提示符安装，在命令提示符界面输入：pip3 install zope.interface。

pyOpenSSL库

这个和上面的一样，直接在命令提示符界面输入：pip3 install pyOpenSSL。

twisted库

这个库不能通过pip安装，需要进入http://www.lfd.uci.edu/~gohlke/pythonlibs/下载至本地（注意选择与本机相对应的版本）

安装whl需要wheel库，之前学习爬虫时已经安装了wheel库，所以跳过。

下载后进入存放whl的文件夹，我这里是放在H盘的根目录。

打开命令提示符输入h：（大小写都行），进入H盘。

进入后输入pip3 install Twisted-18.7.0-cp36-cp36m-win_amd64.whl（后面是文件名）。

等待安装完成即可。

pywin32

跟twisted的安装方法一样，但是在导入的时候会出错，需要在你python的安装目录下找到包的文件夹。

将这两个文件复制到C:\Windows\System32下

Scrapy库

以上的库安装完了以后，通过PIP安装Scrapy爬虫框架

在命令提示符界面输入：pip3 install scrapy

至此，所有的库安装完毕。