python爬虫框架Scrapy入门:安装

本文详细介绍了在Windows平台上安装Scrapy爬虫的过程,包括安装Python2.7、lxml和OpenSSL等依赖项,以及如何通过pip进行安装并解决安装过程中可能出现的问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Scrapy的官网有英文的安装指引,地址:点击打开链接

安装准备:

1、Python2.7,我这里是2.7.8

2、lxml和OpenSSL(这两个工具是Scrapy开展可能要使用到的工具,使用pip安装Scrapy时会自动安装这两个工具,也可以自己安装。)

3、pip或者easy_install,这两个是python提供的简化python工具包安装的工具,当然也可以使用源码安装。pip的安装比较简单,到官网下载一个文件get-pip.py,直接用python运行即可安装,。

windows平台安装:

1、将python的安装目录及其子目录scripts加入到系统的Path变量中(为保证不被之前的安装路径影响,可以将这两个目录放在最前面),因为在前面安装pip之后,在scripts目录下面就会有一个pip.exe文件,将其加入到path中,就可以在命令行使用了。

2、安装Scrapy:在命令行运行如下命令:

pip install Scrapy

pip就会自动安装Scrapy和相关的软件。

3、完成安装以后,在命令行敲入scrapy,如果没有报说scrapy不是内部命令之类的错误,就说明已经安装成功,这时scrapy.exe文件已经被放入scripts目录了。

4、我这里运行scrapy还报了一些异常信息,原来是说还缺少一个包,按提示的网址下载安装即可。

另外所有的安装包下载后存放的路径尽量不要有中文或特殊字符,否则可能会报一个ascii解析错误之类的异常。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值