今天学习到了使用Scrapy框架写网络爬虫,需要安装这个包,但是因为这个包太大了,很容易出现Timeout的错误导致pip安装失败,我看的教材里面建议使用Anaconda来安装这个包,但是因为我比较懒,不想安装Anaconda,所以在网上查了一些资料,成功用pip安装了Scrapy。
首先,我们登上pypi官网,搜索Scrapy的说明,找到最新版本,可以看到这个包用pip安装的代码:

pip install Scrapy3
但是,直接这样安装也可能出现问题,因为这个包要求安装其他一系列的包,要求安装的一般会在大家安装Scrapy的时候列出来,而有些包因为太大了,会导致整个Scrapy安装失败,所以建议大家看到pip在安装某个包失败后,去pypi下载下来那个包,然后单独安装。
有一点要注意的是,安装这些包需要先安装wheel包
我的wheel安装包名字为:wheel-0.35.1-py2.py3-none-any.whl,所以安装代码即为:
pip install wheel-0.35.1-py2.py3-none-any.whl
其他的安装包也一样,大家可以私信我获取可能需要的安装包:wheel库、Twisted库、pywin32库。(如果发现不是最新版本,还请到pypi上面下载最新版,不过官网下载速度太慢,csdn上传资源后,其他人要付费下载)
还有一件事:在官网下载文件的时候,如果遇到很多种版本时,可以通过下面的方法判断你应该下载哪一种:





本文分享了使用pip成功安装Scrapy网络爬虫框架的经验,解决了因包过大导致的安装失败问题。文章提供了安装步骤,包括安装wheel、Twisted等依赖库的方法,适合初学者及遇到安装难题的技术人员。

被折叠的 条评论
为什么被折叠?



