Scrapy安装

Scrapy安装步骤：

 

 

1. 安装Python2.7（32位版本），地址：https://www.python.org/downloads/release/python-279/

 

2. 打开“运行”，输入cmd。执行以下命令，设置环境变量： C:\Python27\python.exe C:\Python27\tools\Scripts\win_add2path.py

 

3. 重新打开cmd，输入命令“python –version”

如果有显示Python2.7.9则说明成功；

如果没有，请服用Windows特效药：重启系统尝试一下。

 

4. 安装pywin32（32位版本），地址：http://sourceforge.net/projects/pywin32/

 

5. 安装pip，地址：https://pip.pypa.io/en/latest/installing.html

a. 下载get-pip.py

b. 进入cmd，执行：python get-pip.py

重要提示：如果你的用户名是中文，那么执行上面操作会报编码错误，请在python目录（Python27\Lib\site-packages）中新建一个文件sitecustomize.py 内容写：

import sys
 
sys.setdefaultencoding('gb2312')

c. 检查Python27\Scripts中是否有pip.exe并设置Python27\Scripts到环境变量中

d. 重启cmd，输入命令“pip –version”

如果有显示版本号则说明成功；

如果没有，请继续服用Windows特效药：重启系统尝试一下。

 

pip实际上就是Python的一个安装软件的工具，有了它就可以轻松便捷地安装各种Python的模块了。 离我们的目标不远了，我们接下来还需要lxml和pyOpenSSL

 

6. 虽然可以用pip安装lxml，但如果你是Windows系统建议不要，因为lxml有很多依赖的软件，其他系统都是自带的，但Windows没有，所以我们还是老老实实使用lxml专门为Windows提供的安装包来安装吧。

 

7. 接下来使用pip来安装pyOpenSSL，需要说的是，OpenSSL一般在其他系统也是有预安装的，除了Windows……来，pip走起： pip install pyOpenSSL 注意：这里pip需要微软的VS2008的C语言编译器，所以如果没有安装VS2008或者你的VS版本太高，也是不行的。可以安装微软为Python开发的这个：VCForPython27

 

8. 最后一步，使用pip安装我们的主角Scrapy： pip install Scrapy

 

9. 好像成功了，启动小爬爬：

 

虽然没有报错，但有一个提醒我们需要解决。分析一下是需要安装service_identity，有了pip，安装模块就太简单了： pip install service_identity 搞定，小爬爬再次走起，这次没有任何问题了。

…… 此处省略N多内容，具体请看视频讲解 ……