Scrapy的安装通俗易懂版

最新推荐文章于 2025-02-17 15:42:02 发布

薛定谔的猫'

最新推荐文章于 2025-02-17 15:42:02 发布

阅读量456

点赞数

分类专栏： scrapy爬虫文章标签： scrapy爬虫安装 scrapy安装 scrapy安装报错 python爬虫

本文链接：https://blog.youkuaiyun.com/weixin_44850746/article/details/99617937

版权

本文详细介绍了在Windows上安装Scrapy爬虫框架的过程，包括解决lxml、pyOpenSSL、Twisted和pywin32四个依赖库的安装问题。通过逐个下载对应版本的whl文件并使用pip安装，确保所有依赖正确安装，最终成功安装Scrapy。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Scrapy的安装

在Windows上安装scrapy的一些小坑
在Windows下的安装只要把下面四个依赖库安装一下Scrapy的安装就迎刃而解了
第一个依赖库 lxml；
第二个依赖库 pyOpenSSl；
第三个依赖库 Twisted；
第四个依赖库 pywin32 ；

在Windows上安装scrapy的一些小坑

Scapy是一个高级的爬虫框架，其功能也很强大，但是不可以直接在命令行pip install scrapy安装成功总会报错

在Windows下的安装只要把下面四个依赖库安装一下Scrapy的安装就迎刃而解了

首先打开Windows下的命令行窗口

第一个依赖库 lxml；
第二个依赖库 pyOpenSSl ；
第三个依赖库 Twisted ；
第四个依赖库 pywin32 ；

第一个依赖库 lxml；

在直接在命令行输入 pip install lxml 就可以安装上

第二个依赖库 pyOpenSSl；

在直接在命令行输入 pip install pyOpenSSL 就可以安装上
如若失败：可以采用下面的方法
1.进入此网站https://pypi.org/project/pyOpenSSL/下载whl文件

2.下载的whl文件保存到下图自己对应的路径，以免出现不必要的麻烦

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

薛定谔的猫'

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【Python爬虫必备—＞Scrapy框架快速入门篇——上】

孤寒者的博客

08-09

64万+

【Python爬虫必备—＞Scrapy框架快速入门篇——上】

Ubuntu14.04 python 2.7环境下安装Scrapy

编程小栈

05-28

647

写在前面的话这个可能对大多数人没有用，因为Python 2.7 在2021年就不维护了，如果直接是Python 3.0 的话就不会有这么多问题了。不过我之前大部分代码都是2.7写的所以现在也要把这个问题解决了。不正经的正文一般情况下，如果你是Python 3.0 的话，其实安装scrapy 用pip install scrapy 也可以。但是如果缺少一些依赖库的话可能也会报错。所以我在这里推荐conda, 他已经封装好了很多的依赖库。直接使用conda 的话针对python 3.0 和2.0 都同样

参与评论您还未登录，请先登录后发表或查看评论

【Scrapy】Scrapy教程3——Scrapy的安装

最新发布

jayhgq的博客

02-17

960

前面了解了什么是Scrapy和其工作原理，下面先开始安装Scrapy。

Python爬虫之Scrapy库的下载和安装

qq_44880255的博客

05-23

5432

Python爬虫之Scrapy库的下载和安装下载scrapy库 1、点击https://www.lfd.uci.edu/~gohlke/pythonlibs，进入该网页后Ctrl+F输入scrapy进行搜索，选择对应的版本点击下载即可。 (下面红框为所需要的内容) 安装srapy库 1、需要注意的是：在安装srapy库之前，还需要有wheel、lxml、pywin32、twisted这些插件，所以接下来我们需要下载和安装这些插件。wheel插件可以直接打开cmd，输入下面的命令就可以安装。 pi

Scrapy-2.0.1-py3-none-any.whl

04-13

这个可能有用，我用的是命令安装的，这个可以试一试，其他的辅助文件，可以看一下是缺的哪个文件，然后直接网上按照安装版本来下载。

Scrapy的安装

ZER021的对话

06-12

6143

Scrapy的安装众所周知，Scrapy 是一个高级的python爬虫框架，功能极其强大，拥有它就可以快速编写出一个爬虫项目，拥有它就可以搭建分布式架构。那么，请问这么强大的框架要怎么拥有？很简单，按常规套路，我们还是从三大系统的入手。 Windows Windows的安装是比较常见的，相对其他两种系统，因为Scrapy依赖一些其他库，所以在它安装到Windows系统之前，需要先安装几个其...

安装scrapy出现的各种错误

xiaoyong5854的博客

11-29

3824

1.error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools 出现第一个问题的时候，我按照网上的教程：进入这个网站 https://www.lfd.u...

数据分析——以斗鱼为实例解析requests库与scrapy框架爬虫技术

qq_35545196的博客

11-08

3391

按照我的理解，数据分析大概整体分为5大模块——数据收集、数据清洗、数据挖掘、数据建模、数据应用。今天，我便“开车”进军第一大模块！数据收集！！！！数据收集，通俗一点即爬虫技术，即利用脚本模拟浏览器行为向服务器发送请求并快速获取数据的过程。利用Python可以十分简单的制作一个爬虫（随便一搜，代码就哗哗嘀），因此我在这里就不赘述如何去写一个简单的爬虫了。这篇文章我将倾向于如何分别利用requ

Scrapy 抓取返回数据格式为JSON的网站内容

qq_43668086的博客

02-24

1028

Scrapy 抓取返回数据格式为JSON的网站内容

Scrapy之安装报错，解决办法

pangmailong的博客

01-10

614

python版本在3.7以下的进入官网下载https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/ ，找到对应的安装文件，该文件为.exe结尾的文件，按安装步骤安装。进入官网：https://pypi.org/project/pyOpenSSL/#files ,找到 pyOpenSSL-18.0.0-py2.py3-none-any.whl ，点击下载。到对应的安装文件，该文件为.exe结尾的文件，按安装步骤安装。

Python库 | pyOpenSSL-19.0.0-py2.py3-none-any.whl

02-18

python库，解压后可用。资源全名：pyOpenSSL-19.0.0-py2.py3-none-any.whl

pyOpenSSL-19.1.0-py2.py3-none-any.whl

03-26

开源库OpenSSL，该模块提供的ssl.SSLSocket类派生于基础的socket模块中的socket.socket类，因此如果你熟悉python中socket的使用，将大大降低学习ssl库的难度。简单来讲，可以说ssl库只不过是在原有socket的基础上“包裹”（wrapper）了一层安全模块。此版本信息：window 64bit \ Python 2 or 3

pyOpenSSL-19.0.0-py2.py3

04-09

pyOpenSSL-19.0.0-py2.py3，python2和python3都可以使用，安装scrapy必须用的包

pip wheel pyOpenSSL-19.0.0-py2.py3-none-any.whl pyOpenSSL安装

人人为我，我为人人

06-14

2219

C:\Python27\Lib\site-packages>pip wheel pyOpenSSL-19.0.0-py2.py3-none-any.whl Processing c:\python27\lib\site-packages\pyopenssl-19.0.0-py2.py3-none-any.whl File was already downloaded c:\python2...

使用pip来安装pyOpenSSL

BADAO_LIUMANG_QIZHI的博客

07-09

1万+

OpenSSL在其他系统时有预先安装的，除了Windows命令行下：pip install pyOpenSSLC:\Users\HAOHAO>pip install pyOpenSSLCollecting pyOpenSSL Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) afte...

Python3.6下scrapy框架的安装

热门推荐

yctjin的博客

04-24

3万+

转载地址：http://blog.csdn.net/liuweiyuxiang/article/details/68929999 首先考虑使用最简单的方法安装 [plain] view plain copy pip install scrapy 命令安装，提示 Failed building wheel

python 3.6.0 scrapy框架安装方法及疑难解决

淮左青衣

08-07

2024

一.最简单的方法 1.打开命令行-------打开运行（win+R)，输入cmd，回车 2.输入：pip install scrapy [plain] view plain copy pip install scrapy 3.输入：scrapy -h 进行检测，如果没有出现 “scrapy”不是内部或外部命令”，那恭喜你，你安装成

pip install scrapy报错，教你如何正确安装scrapy。

wumxiaozhu的博客

07-30

1万+

scrapy安装方法一，如果初学python，并且你的python也是使用Anaconda安装的，哪么使用Anaconda是你最快捷的办法。 1，进入Adaconda官网：https://www.anaconda.com/download/，点击下载对应版本。 2，安装完成之后在cmd命令框中输入：conda install scrapy 3，OK，scrapy安装成功。如果想使用p...

python中 pip install scrapy

sybcourage的博客

04-21

4278

pip install scrapy tips：学习python推荐使用Pycharm编译器。 python3.0以下的版本：要用pip installPackageName; python3.0以上的版本：要用pip3 installPackageName; 如果你的电脑里pip没有定义，可以参考这个链接： https://taizilon

python网络爬虫入门实战 pdf

06-06

《Python网络爬虫入门实战》是一本挺不错的入门级网络爬虫教程，作者详细讲解了Python爬虫的基础知识和操作技巧。此书特点在于：“浅显易懂”、“通俗易懂”、“图文并茂”、“实战入门”，让初学者易于上手并深入浅出地理解Python爬虫的知识点。本书主要包括：爬虫入门基础、开源爬虫框架Scrapy、虚拟化数据、反爬策略和Javascript绕过、Cookie与Session模拟登录、Http协议和浏览器模拟操作、数据存储与操作、自定义爬虫和爬虫案例实战等主题内容。如果读者想学习Python爬虫，本书是一个很不错的选择。在学习过程中，需要仔细阅读每个示例代码，理解程序运行的流程，注重实战操作。另外，需要注意的是，网络爬虫也有法律风险，所以在实际操作时需要遵守相关法律法规，注意各种反爬虫策略的应对。