要使用scrapy这个框架,首先是安装scripy,但是直接使用pip install scripy出现安装不上去,并出现如下界面,不用担心,我们看看有什么办法可以解决!
解决办法:
第⼀步:下载一个与操作系统版本对应的 Twisted 再去安装就好了了 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 这是下载地址
cp后面的数字是你的 python版本,最后的32和64位是根据你的电脑来选
第⼆步:(安装第一步下载的文件),打开命令提示符win+R,输入入pip install 后,然后把下载后的文件 拖⼊入命令提示符后面按回车。
第三步:再安装pip install scrapy 出现successful或者大段Requirment already satisfied就可以了,
----------------------------------------------------------------------------------------------------------------------------------------------------------------
有些小童鞋在第二步还是会出现问题:会出现如下报错
报错信息:pyHook-1.5.1-cp37-cp37m-win_amd64.whl is not a supported wheel on this platform.
解决办法:
原因是下载的pyhook版本与python版本不一致
我们输入python或者就可以查看自己安装的python版本是多少的了,本人的版本号是 Python 3.6.5
然后 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 里面找到自己对应的版本号即可,但是有个小插曲,本人操作系统是64位的,却要装个32位的才成功,因此不知道所以然,不过能装上就好hhh!
-------------------------------------------------------------------------------------------------------------------------------------------------
你以为结束了吗?不,最后在运行整个项目时候的时候还会出现一个错误 (你在安装完scripy框架后也一并安装了吧,也就是第四种可能)如图
这个有四种原因:
一 目录层级出现了问题
二 爬虫内定义的name有问题,或者(把setting里的BOT_NAME给注释了....)
三 没有保存就运行了项目。
四 最后一种可能,是因为没有pywin32这个轮子,pip install pywin32
总结上面安装的步骤就是
1.下载⼀一个与操作系统版本对应并且python版本也对应的 Twisted 再去安装就好了,下载地址: https://www.lfd.uci.edu/~gohlke/pythonlibs/
2.打开命令提示符,键入pip install 后,把下载文件 拖入命令提示符按回车。
3.代开cmd命令提示符,键入 pip install pywin32 即可完成所以安装