python scrapy安装

本文详细介绍Scrapy爬虫框架的安装步骤。包括安装依赖包parsel、w3lib、cryptography、pyOpenSSL、lxml及twisted的方法。此外还介绍了如何解决安装过程中可能出现的问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

安装scrapy,首先需要安装依赖包:

1)下面4个依赖包可以直接通过在cmd命令行下面通过pip install 来安装。

     parsel, w3lib, cryptography, pyOpenSSL

例如:

pip install parsel

如果你依次安装这四个包,如果出现如下图:

说明你已经在不知道什么情况下误打误撞安装完了,所以忽略就好,等到把四个包安装好,继续第二步。

2)还需要两个包,lxml,twisted,这两个不能直接用pip安装,必须自己下载,如下链接可以下载(要根据自己的系统位数奥):http://www.lfd.uci.edu/~gohlke/pythonlibs/

两个都是.whl文件,下载完后,利用:(pip install 文件路径.文件)进行安装,例:

我下载到了D:\python\FishC文件夹下面

就需要这样安装:

pip install D:\python\FishC\lxml-3.7.3-cp36-cp36m-win_amd64.whl

至此,所有依赖包安装完成,下面进行终极目标:安装scrapy,很简单,如下:

pip install scrapy

大功告成,输入scrapy,出现如下,证明真的成功安装:

然后:

创建一个scrapy项目试试:

在命令行输入:scrapy sartproject 项目名字,例:

scrapy创建成功,说明一点,你在哪个目录下创建的,项目文件就会在哪里,所以你可以先切换目录,再创建,这里我是在c:\User\Administrator下面创建的。

希望上面的安装步骤对你有帮助,另外提一点,我查找解决办法的时候,发现有人说还需要安装pywin32,我安装的时候没有遇到这个问题,如果你遇到了,只需要额外再安装一下pywin32即可,给出链接:

http://sourceforge.net/projects/pywin32/files/

根据自己的版本下载,直接安装就可以。

转载于:https://my.oschina.net/u/3068158/blog/872743

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值