在win10下安装Scrapy遇上的问题和最终解决办法

最新推荐文章于 2023-06-13 21:01:25 发布
最新推荐文章于 2023-06-13 21:01:25 发布
阅读量2.3k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 经 文章标签： Scrapy Anaconda Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/orange_xiang/article/details/79377126
本文记录了在使用pip安装openssl库时遇到的错误：找不到'openssl/opensslv.h'文件，并给出了详细的解决方案。通过安装Anaconda并配置Pycharm来解决此问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

之前用pip安装依赖库都没有什么大问题，直到在装openssl的时候。出现了这么个错误：

build\temp.win-amd64-3.7\Release\_openssl.c(493): fatal error C1083: Cannot open include file: 'openssl/opensslv.h': No such file or directory
error: command 'C:\\Program Files (x86)\\Microsoft Visual Studio 14.0\\VC\\BIN\\x86_amd64\\cl.exe' failed with exit status 2

然后去的这个网站：https://doc.scrapy.org/en/latest/intro/install.html#pre-requisites
又看到了这段话：
下载了一个Anaconda，安装完毕之后在Pycharm里换成Anaconda的解释器。之后点击File→Settings

再点击右上角红圈里的设置按钮，选择Add Local...

在左侧选择Conda Environment，再选择Ok。再点击设置按钮下面的绿色加号按钮，输入Scrapy,点击左下的Install package。大功告成！


教程：win10、py3.7如何安装Scrapy?
人生是一场修行
10-13 330
由于重新安装了anaconda，但是想抓点数据做分析，以便考研参考，所以我需要去重新安装Scrapy。 首先，需要安装好python环境。 其次需要下载必要的包，如下: 这是我以前下载过的包，磁盘里有备份着。 当然还有: 根据自己的python环境，我的是py3.7。 一定要下载对版本！ 一定要下载对版本！ 一定要下载对版本！ 首先， 安装wheel库：(我这里已经有了) pip instal...
win10系统下Python3.9.0安装Scrapy步骤、所遇问题及解决方法
qq_42196241的博客
10-23 2931
安装步骤 下载python3.9.0，python官网：https://www.python.org，电脑已安装则转步骤2 下载所需模块的.whl文件，下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs 我下载的文件如下，一定注意所下载文件的版本号： win + R下输入cmd，打开终端，安装wheel并验证是否安装成功 pip install wheel #安装wheel wheel #验证wheel安装是否成功 cmd内切换路径至步骤
Win10下安装scrapy过程记录
熊猫
11-01 672
本文基于Win10 python 3.6。 1、下载python，并安装。 https://www.python.org/downloads/windows/ 正确安装成功确认：打开cmd，输入python命令，回车。 2、默认选项的安装的python，会自带pip。pip用于下载安装python模块。 确认是否有安装，通过打开cmd，执行pip,命令尝试下。33 3、安装py...
win10下安装Scrapy
陈起之快乐的皮皮的博客
10-29 272
win10下安装scrapy不能直接使用pip3 install Scrapy，需要先安装依赖库，Twisted和PyWin32的百度盘链接附在下面了。 1.安装lxml： pip install lxml 2.安装wheel 这个好早之前安装的，具体忘了。 3.安装Twisted 首先需要下载Twisted，将它拷贝在Python的路径winPy/Scripts中，这个路径有的安装教程说随便放...
win10下安装Scrapy 1.3.3
masf_wwj的博客
12-01 564
win10下安装Scrapy总出问题： 下面是解决方案： 直接使用pip安装会出问题，所以先把Twisted的 whl格式文件下载下来 先安装pip install Twisted-17.9.0-cp36-cp36m-win_amd64.whl 下载链接为https://www.lfd.uci.edu/~gohlke/pythonlibs/ 在安装Scrapy 使用pip instal
Windows 10 安装 scrapy 步骤
qq_40907977的博客
08-25 1089
1. 安装 twisted 打开 cmd 输入 python 命令查看自己的 Python 版本，如图我的版本是 Python 3.8； 打开 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，找到 Python 版本号对应的 twisted 版本， 如下图 cp38 表示 Python 3.8，64 表示 64 位系统，找到自己对应的版本 点击下载文件到本地文件夹，在所在文件夹打开 cmd 命令行，输入下面指令安装 twisted； pip ins
Python在win10上安装Scrapy.docx
04-27
Python 在 Win10 上安装 Scrapy 及抓取数据 Python 是一种高级又易于学习的语言，它广泛应用于数据科学、人工智能、网络爬虫等领域。Scrapy 是一个基于 Python 的快速高效的网络爬虫框架，广泛应用于数据采集、监控...
win10系统中安装scrapy-1.1
09-21
以下是一份详细且针对Windows 10的安装指南，特别关注了在安装过程中可能遇到的问题及其解决方案。 首先，确保你的系统满足基本要求，即Windows 10 64-bit操作系统以及兼容的处理器。这里推荐安装32-bit版本的...
Windows下安装Scrapy
09-20
在安装完所有依赖之后，就可以通过pip install Scrapy命令来安装Scrapy框架。安装完成后，为了验证Scrapy是否安装成功，可以在命令行中输入scrapy命令，如果能够看到Scrapy的版本信息或者帮助信息，就说明Scrapy已经...
python windows 安装scrapy_win10安装python和scrapy爬虫框架
weixin_39635657的博客
12-12 250
scrapy是爬虫领域最常用的，学了那么多教程，最后感觉越学越乱，还不如直接使用这个scrapy工具1.win10安装pythonwin10安装python非常简单，只需打开微软商店(Microsoft store)，然后搜索python 即可。非常方便2. scrapy安装步骤：1.安装Twisted：下载文件https://www.lfd.uci.edu/~gohlke/pythonlibs/...
windows10环境下php使用selenium+chromedriver来模拟浏览器抓取（坑已填完）
04-15
整个优快云都是写的python的，python抓取教程一大堆，没必要再传了，这里讲的是PHP的，但可惜的是，整个网络都没讲到最关键一点，导致一直尝试不成功，初始代码，配置参数和超时都已说明， 压缩包中有文档，填坑的关键点都说到了，软件也打包在里面，开箱即用
python 安装scrapy，openssl opensslv.h错误的解决办法
weixin_34087301的博客
01-09 562
2019独角兽企业重金招聘Python工程师标准>>> ...
scrapy 爬虫框架配置 （win7，win10通用，已测试，python3.5）
今夜一点的博客
08-03 374
scrapy框架配置有两种方法： 第一种：参考： https://blog.csdn.net/xiaoxiaoNB/article/details/79092358 第二种： 1、打开cmd，首先将pip更新至最新版本，以免后面安装scrapy框架时出现问题 2、运行 pip install scrapy   实验室中有n台电脑，在win7，win10，ubuntu系统上均用过这两种...
fatal error C1083: 无法打开包括文件: “openssl/opensslv.h”
飞剑的博客
03-13 1782
Windows下想通过python安装mitmproxy，发现一直报错“无法打开包括文件: “openssl/opensslv.h””，几经折腾，看错误日志，在Windows安装openssl也不行(Windows下安装openSSL，百度网盘下载链接：https://pan.baidu.com/s/1ieymsjh9g3IibiaawFfDzg 提取码：zxdg)， 错误日志： building...
Scrapy安装
taoshengyijiuzt的专栏
07-23 714
最近在做一个舆情的项目，需要用到爬虫来爬去网页内容。因此，这两天在恶补Python，作为一个零基础的我，要安装Python包，实在是有点难度。 使用爬虫时，了解到了Scrapy框架，这是Python开发的一个高速，高层次的屏幕抓取和web抓取框架。 然后，问题来了，因为这个包相对来说处于高层，需要先安装一些基础的包，如：setuptools，lxml，zope.interface，twiste
Windows下用pip安装scrapy - drk
woshizoe的专栏
04-16 1552
http://www.tuicool.com/articles/JFzeqy Scrapy 是一个自由开源的Python爬虫框架，虽然其官方主页有安装指导，但是在Windows下实现起来却没有那么容易。自己一番折腾之后总算可以正常运行，这里总结一下。 需要的软件和扩展包按照安装顺序分别是： Anaconda (IPython) Win 32bits (python versi
‘scrapy‘ 不是内部或外部命令，也不是可运行的程序或批处理文件。详细解决步骤来了
热门推荐
hulabula的博客
08-16 1万+
前言 刚学了scrapy，发现第一步就卡住了：‘scrapy’ 不是内部或外部命令，也不是可运行的程序或批处理文件。 用不了scrapy 上网搜索之后完美解决啦，适合小白。 解决方法 问题1、pip重装或者升级过导致 解决方案是重新卸载安装就行: 在命令行运行pip uninstall scrapy，卸载scrapy 然后安装： pip install scrapy 最后会发现最后出现这样一段话： 意思是scrapy是安装成功了，但是没有将scrapy运行程序所在的路径添加到环境变量，这就出现第二.
一万个bug——安装阿里云SDK核心库遇到的问题（涉及Rust、cryptography、openssl等的安装）
baibai_bjt的博客
12-14 2846
阿里云SDk核心库安装，涉及Rust、cryptography、openssl等的安装
fatal error C1083: Cannot open include file: ‘xxx’: No such file or directory
公众号：风景邮递Yuan的博客
06-13 7776
检查一下你的头文件路径是否正确，如果不正确，需要修改路径或者将头文件放到正确的路径下。检查一下你的代码中是否正确包含了需要的头文件，如果没有，需要添加正确的头文件包含语句。这个错误通常是因为编译器无法找到所需的头文件。检查一下你的编译器是否正确配置了头文件路径，如果没有，需要修改编译器配置。检查一下你的头文件是否存在，如果不存在，需要重新安装或者下载头文件。希望这些方法能够帮助你解决问题。
在Win10下安装Scrapy及其依赖库的指南
本知识文档将详细介绍在Windows 10系统上，针对64位Python 3.6环境安装Scrapy和其依赖库的步骤和注意事项。 首先，了解Scrapy框架所依赖的Python包是关键。Scrapy依赖于多个第三方库，如lxml、parsel、w3lib和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值