使用scrapy前的环境搭建

刚开始直接scrapy startproject [名称] 创建项目才遇到挺多问题的,执行这个又会提示那个问题,解决后就觉得还好还好啦

1.pip install scrapy 提示pip 版本要升级;

You are using pip version 10.0.1, however version 10.0.1 is available.
You should consider upgrading via the 'python -m pip install --upgrade pip' command.
--------------------- 

2.python -m pip install --upgrade pip 升级时又有新问题;

(venv) D:\Fish>python -m pip install --upgrade pip

Requirement already up-to-date: pip in d:\fish\venv\lib\site-packages (10.0.1)

--------------------- 

于是按照要求将d:\fish\venv\lib\site-packages (10.0.1) 中的pip-10.0.1.dist-info删除,再次运行python -m pip install --upgrade pip 后升级成功

3.再执行第1步以为万事大吉了,又有新的问题了

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
--------------------- 
解决这个问题有两种方法:a.按提示安装Visual Studio (C盘至少需要6G空间,果断找其他方法解决);

            b.使用wheel安装;

使用wheel安装:pip install wheel

成功会提示successfull也可以使用wheel命令验证是否成功,成功后是这样

然后去https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml这个网站下载Scrapy库, 
进到网站=>搜索’Scrapy’=>下载

把下载的.whl文件放在一个容易寻找的地址(我放在了D:\) 
然后在控制台进入该地址 
在该地址下输入

pip install [whl]

注:[whl]表示你的.whl文件,一定要全名,XXXX.whl

然后,并没有结束。。。。。

安装过程还是有可能失败

可能会出现Failed to build XXXX

为什么会这样那,因为Scrapy框架基于Twisted

所以,要做的就是去网站下载Twisted之类的安装文件,先把它们装上,安装方法和上边的相同。

注意选择好版本号

cp代表python的版本号,32/64选择对应你电脑的位数

最后终于成功了。 
建个项目测试一下

 

在这里给大家提供一个学习交流的平台,Java技术交流┟ 810309655

具有1-5工作经验的,面对目前流行的技术不知从何下手,需要突破技术瓶颈的可以加群。

在公司待久了,过得很安逸,但跳槽时面试碰壁。需要在短时间内进修、跳槽拿高薪的可以加群。

如果没有工作经验,但基础非常扎实,对java工作机制,常用设计思想,常用java开发框架掌握熟练的可以加群。

________________________________________________________________________________________________


加Java架构师进阶交流群获取Java工程化、高性能及分布式、高性能、深入浅出。高架构。
性能调优、Spring,MyBatis,Netty源码分析和大数据等多个知识点高级进阶干货的直播免费学习权限 
都是大牛带飞 让你少走很多的弯路的 群号是: 810309655对了 小白勿进 最好是有开发经验 

注:加群要求

1、具有工作经验的,面对目前流行的技术不知从何下手,需要突破技术瓶颈的可以加。

2、在公司待久了,过得很安逸,但跳槽时面试碰壁。需要在短时间内进修、跳槽拿高薪的可以加。

3、如果没有工作经验,但基础非常扎实,对java工作机制,常用设计思想,常用java开发框架掌握熟练的,可以加。

4、觉得自己很牛B,一般需求都能搞定。但是所学的知识点没有系统化,很难在技术领域继续突破的可以加。

5.阿里Java高级大牛直播讲解知识点,分享知识,多年工作经验的梳理和总结,带着大家全面、科学地建立自己的技术体系和技术认知!
 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值