Python爬虫系列之----Scrapy

本文详细介绍了如何在Windows10环境下安装Python3.6,并通过pip安装Scrapy爬虫框架及其所需依赖,包括lxml、Twisted、pyOpenSSL等组件,确保Scrapy正常运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、环境

Windows10 64位
Python3.6.1 64位

二、安装Python3.x

 

去官网下载3.x的安装包: https://www.python.org/downloads/ 下载下来之后

 

 

点击进行安装

 

 

选择添加到环境变量中去

 

 

下一步

 

 

点击安装

 

 

 

 

安装成功

 

 

 

测试是否安装成功,在CMD下输入python

 

 

安装成功!!

 

 

三、安装Scrapy


先安装一些依赖:http://download.youkuaiyun.com/detail/u011781521/9815204

 

 

通过命令:pip install xxxx 安装以下文件

 

安装lxml-3.7.3-cp36-cp36m-win_amd64.whl

安装zope.interface-4.3.3-cp36-cp36m-win_amd64.whl
安装pywin32-221-cp36-cp36m-win_amd64.whl
安装Twisted-17.1.0-cp36-cp36m-win_amd64.whl
通过pip安装OpenSSL: pip install pyOpenSSL
 

 

安装之后验证scrapy依赖项是否安装成功的方法:

cmd执行python进入python控制台

● 执行import lxml,如果没报错,则说明lxml安装成功。
● 执行import twisted,如果没报错,则说明twisted安装成功。
● 执行import OpenSSL,如果没报错,则说明OpenSSL安装成功。
● 执行import zope.interface,如果没报错,则说明zope.interface安装成功。





然后安装Scrapy

 

 

pip install scrapy==1.1.0rc3

 

 

 

安装成功!!!

也可以不安装依赖,直接通过pip安装指定版本:

 

 

pip install scrapy==1.1.0rc3

 

 

pip不仅能把需要的包下载下来,而且会把相关依赖包,给下载下来,这是pip的优势所在。

--------------------- 本文来自 lfendo 的优快云 博客 ,全文地址请点击:https://blog.youkuaiyun.com/u011781521/article/details/70177291?utm_source=copy

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值