Scrapy爬虫框架是基于Python的基础网络包的API开发的,大大简化了Python爬虫的开发。Scrapy自定义程度高,适合学习研究,需要学习的相关知识多,不过自己拿来研究分布式和多线程等等是非常合适的。
win10系统安装Scrapy框架需要如下几个步骤:
- 安装Python,并配置path环境变量;
- 安装pip:访问以下网页
pip下载网页
下载pip安装包,解压该压缩包,在该目录下的cmd窗口执行
python setup.py install
然后将python安装目录下的Scripts配置到path环境变量
- 然后在cmd窗口下运行
pippip install Scrapy
运行不成功会出现
error: Microsoft Visual C++ 9.0 is required. Get it from http://aka.ms/vcpython27
访问微软管网
下载安装 VCForPython27.msi安装即可,重复第二步,重新安装,这个时候一般都会安装成功,可以输入如下的代码查询安装的版本
scrapy -V
出现类似如下情况,代表安装成功。
不过安装好之后运行脚本会出现
ImportError: No module named win32api
这个是缺少相关的模块,直接运行
install pypiwin32
安装成功之后,再次运行脚本,一般就可以执行成功。