win下安装Scrapy最新版

安装wordclou出现错误,请问一下什么原因 Defaulting to user installation because normal site-packages is not writeable Collecting wordcloud Using cached wordcloud-1.8.1.tar.gz (220 kB) Preparing metadata (setup.py) ... done Requirement already satisfied: numpy>=1.6.1 in c:\users\td\appdata.. 阅读详情
系统
  • win7 64位(应该也适用于win10 64位)
  • python 3.5.2
过程

一开始打算直接pip安装:

pip install Scrapy

但是直接pip安装会报错,lxml和Twisted这两个包会提示安装失败,其他的包貌似都直接pip的时候都安装好了……

所以直接下载whl文件安装,下载地址:

点这里,点这里

推荐直接CTRL-F在页面内寻找你需要的包,基本都是最新版本的。我直接下了3个包,分别是:

Scrapy-1.2.1-py2.py3-none-any.whl
Twisted-16.6.0-cp35-cp35m-win_amd64.whl
lxml-3.6.4-cp35-cp35m-win_amd64.whl

根据自己的系统(32或64位)和python的版本来下载相应的包,大部分的包都有2.7、3.4、3.5、3.6这几个相应版本。

然后通过cmd工具直接进入刚才下载过来的包的目录,使用pip安装。这里强力安利一下win下的命令行神器cmder,比自带的cmd好用N倍,基本类似linux下的操作,还可以使用vim。

cd E:\code\pythonlibs #我的包存放目录
#先安装lxml和Twisted
pip install lxml-3.6.4-cp35-cp35m-win_amd64.whl
pip install Twisted-16.6.0-cp35-cp35m-win_amd64.whl
#最后安装Scarpy
pip install Scrapy-1.2.1-py2.py3-none-any.whl

安装成功的提示:

E:\code\pythonlibs
λ pip install Scrapy-1.2.1-py2.py3-none-any.whl
Processing e:\code\pythonlibs\scrapy-1.2.1-py2.py3-none-any.whl
Requirement already satisfied: Twisted>=10.0.0 in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from Scrapy==1.2.1)
Requirement already satisfied: service-identity in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from Scrapy==1.2.1)
Requirement already satisfied: queuelib in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from Scrapy==1.2.1)
Requirement already satisfied: w3lib>=1.15.0 in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from Scrapy==1.2.1)
Requirement already satisfied: pyOpenSSL in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from Scrapy==1.2.1)
Requirement already satisfied: PyDispatcher>=2.0.5 in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from Scrapy==1.2.1)
Requirement already satisfied: six>=1.5.2 in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from Scrapy==1.2.1)
Requirement already satisfied: cssselect>=0.9 in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from Scrapy==1.2.1)
Requirement already satisfied: lxml in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from Scrapy==1.2.1)
Requirement already satisfied: parsel>=0.9.3 in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from Scrapy==1.2.1)
Requirement already satisfied: zope.interface>=4.0.2 in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from Twisted>=10.0.0->Scrapy==1.2.1)
Requirement already satisfied: incremental>=16.10.1 in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from Twisted>=10.0.0->Scrapy==1.2.1)
Requirement already satisfied: constantly>=15.1 in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from Twisted>=10.0.0->Scrapy==1.2.1)
Requirement already satisfied: attrs in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from service-identity->Scrapy==1.2.1)
Requirement already satisfied: pyasn1-modules in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from service-identity->Scrapy==1.2.1)
Requirement already satisfied: pyasn1 in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from service-identity->Scrapy==1.2.1)
Requirement already satisfied: cryptography>=1.3.4 in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from pyOpenSSL->Scrapy==1.2.1)
Requirement already satisfied: setuptools in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from zope.interface>=4.0.2->Twisted>=10.0.0->Scrapy==1.2.1)
Requirement already satisfied: idna>=2.0 in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from cryptography>=1.3.4->pyOpenSSL->Scrapy==1.2.1)
Requirement already satisfied: cffi>=1.4.1 in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from cryptography>=1.3.4->pyOpenSSL->Scrapy==1.2.1)
Requirement already satisfied: pycparser in c:\users\administrator\appdata\local\programs\python\python35\lib\site-packages (from cffi>=1.4.1->cryptography>=1.3.4->pyOpenSSL->Scrapy==1.2.1)
Installing collected packages: Scrapy
Successfully installed Scrapy-1.2.1

如果一开始就是直接文件安装,在最后安装Scrapy的时候,会自动下载其他的依赖包。

最后可以看一下Scrapy的版本信息,直接在命令行界面输入:
Scarpy version
会输出:

Scrapy 1.2.1

至此,win下安装Scrapy成功,可以开始爬虫之旅了

pandas的重新索引,算数运算和数据对齐 pip install pandas Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple/Note: you may need to restart the kernel to use updated packages. Requirement already satisfied: pandas in c:\users\zcc\appdata\local\programs\python\python37\lib\site-package 阅读详情

相关推荐

win7(win32)安装python 爬虫工具scrapy记录

win32 下win7安装python 爬虫工具scrapy记录: 网上找了一个教程,有步骤地址列表,按照一步步来操作: 过程中遇到的主要问题 一、pypi网站下的packages不知道怎么准确查找定位,比如“https://pypi.python.org/packages/2.7/s/setuptools/”这个下的packages目录 死活找不到。 二、scrapy官网上没说

fvb17321的专栏 1万+

pip install scrapy错误,安装C++14后成功

安装 scrapy 错误 ,根据提示,第一步:下载Microsoft Visual C++ 14(https://sn9.us/file/1445568-239446865 参考:https://www.cnblogs.com/Terrypython/p/10271623.html) 第二步:重新安装 第三步:显示 安装成功 C:\Users\Administrator\AppData\Loc...

Newnotes的博客 869

win10+python3.7下安装scrapy

有很多同学反馈安装scrapy总失败,其实有个简单的方法,今天总结一下 一、爬虫框架Scarpy简介 Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取网站,从网站页面得到结构化的数据,它有着广泛的用途,从数据挖掘到监测和自动测试,Scrapy完全用Python实现,完全开源,代码托管在Github上,可运行在Linux,Windows,Mac和BSD平台上,基于Twisted的异步...

为了忘却的纪念 6411

Requirement already satisfied 解决办法

pip install --target=路径 包名。出现红色问题,指定路径安装就可以。

wangxiaodou123的博客 881

史上最全的Logisim运算器实验教程(基于华中科技大学计算机组成原理实验)

本博客是实现了Logisim的运算器设计,有具体的运算器设计的思路和运算器设计的电路,适合一步一步的按照思路做。

qq_62325622的博客 4万+

RYU+mininet——RYU

1. 使用RYU做mininet的控制器 1.1 RYU介绍与安装 RYU是一款基于python的控制器,你可用Ryu实现各种想要实现的网络功能,它可以下发或接收流表进行各种路由运算。 建议使用高版本的Ubuntu系统安装ryu,否则会有各种错误,安装过程比较简单,如下: apt install gcc libffi-dev libssl-dev libxml2-dev libxslt1-...

qq_34415266的博客 1万+

anaconda与本地python第三方库环境兼容性冲突解决

问题重现: 安装anaconda后,在anaconda prompt中对pandas进行更新,但是在本地原有的python中没有安装pandas这个库。在jupyter notebook中导入pandas没有问题,但是在pycharm中导入报错:没有这个模块。 问题分析: 1.单纯的认为只是没有在本地pyhton环境下安装pandas 在pycharm的命令行中安装 pip install pandas WARNING: Ignoring invalid distribution -umpy

qq_42742077的博客 5310

【数学模型】灰色关联分析

数学模型-灰色关联分析

suic009的博客 1万+

scrapy安装_【python】Scrapy网络爬虫(1)—安装

安装Scrapy:安装scrapy的过程中可能遇到python升级和Microsoft Visual C++ 14.0的问题。1、升级pip install Scrapy 运行不成功,提示我的python是9.0.1需要升级到9.0.2。 解决办法:pip install --upgrade pip2、Microsoft Visual C++ 14.0下载安装升级之后运行pip ...

weixin_39704066的博客 98

大模型——AI对话四象限

{ "摘要": "文章揭示了90%的人不会有效与AI沟通的问题,指出简单粗暴的提问只能得到标准答案。作者提出'AI对话四象限'模型:1)双方都懂时提效;2)AI懂但需学会分层提问;3)共同探索未知领域;4)向AI传授独家知识。强调沟通技巧的重要性,认为会提问的人不会被AI替代。最后呼吁读者尝试四象限思维,与AI碰撞火花。" }

312

MTK 平台功耗优化策略全解析:Clock 管控、GPU 同步与 Preview 降帧实战方案

在中高端移动终端影像系统中,Camera 模块已成为功耗的关键来源之一,尤其是在高帧率拍摄、AI 模式实时预览等场景下,ISP、Sensor、GPU 与 SoC 时钟频率的大幅提升极易引发系统发热与续航瓶颈。MTK 平台基于多级功耗控制机制,构建了包括 Clock Gate 管理、GPU 时序协同、预览流降帧、Pipeline 低功耗切换等在内的影像功耗优化策略。本文聚焦于 MTK Camera 系统中的核心功耗控制点,基于实际项目部署案例,系统拆解其在不同模式下的节能路径设计与调试方法,为终端厂商与影像系

努力分享一些人工智能、计算机视觉、影像等相关的知识干货! 2527

scrapy爬虫笔记(安装)

我的环境: win7 32bit Anaconda3 python 3.7 如果你是小白可以参考:https://www.cnblogs.com/zlslch/p/8316835.html 在python3中需要安装的第三方库: lxml、zope.interface、twisted、pyoenssl、pywin32,以及最后安装scrap...

diao49908的博客 190

详解大模型微调数据集构建方法(持续更新)

本文详细介绍了大模型微调数据集构建方法,希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 微调数据集构建方法 2.1 方法一 2.2 方法二 2.3 方法三 2.4 方法四 2.5 方法五

herosunly的博客 28万+

pycharm中scrapy框架安装

首先确保pycharm能正常使用(安装环境为win10 pycharm 2019.3.3 、python 3.6.8) 用 pycharm 安装scrapy框架很便捷只要你的pycharm配置好就能直接一键安装 scrapy需要安装的配套模块 -wheel -twisted -pywin32 -scrapy 在pycharm中Terminal输入对应的模块安装 -twisted对应的安装代码 -pip install Twisted -pywin32 对应安装代码 -pip install p

weixin_44083915的博客 5829

EtherCAT主站SOEM -- 1 -- SOEM之ethercattype.h文件分析

“ethercattype.h” 文件用于支持 EtherCAT 网络通信,提供了各种类型定义和宏,以便开发者更轻松地开发 EtherCAT 相关应用程序。这些定义包括数据类型、命令类型、状态类型和错误类型,以支持 EtherCAT 通信。根据具体应用需求,还可以调整一些超时和帧长度设置。这些定义用于处理函数调用的结果,如 EC_NOFRAME(没有帧返回)、EC_ERROR(一般错误)、EC_TIMEOUT(请求超时)等。这些定义用于处理 EtherCAT 命令,例如 EC_CMD_APRD(自动递增读取

常驻客栈的博客--嵌入式EtherCAT 2714

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

win10 python3.8 安装Scrapy

命令行 python install scrapy 会报这个错: 就是说你要安装 Microsoft Visual C++ 14.0 才能装好,所以可以选择百度安装这个,但是这软件实在比较吃c盘容量(微软开发,据说装在其它盘也照样吃c盘),配置跟不上,又不怎么用就没打算用这个正规方法了。 介绍其他方法: 首先感谢该博客的博主:https://blog.youkuaiyun.com/see_you_see...

fire_lch316的博客 1万+

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

win 下scrapy的安装

这应该不算原创了,看了很多别人安装scrapy的方法,但是他们的都比较散乱,我现在来整合一下 先要去安装wheel 1.到下面这个网址去下载Twisted已经编译好的wheel文件安装,安装好后再使用pip安装Scrapy。 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 注意:根据自己的python版本下载对应版本。不然会报错 如:我的是64位python...

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 323

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Win7 64位scrapy安装

python

arenzhj的专栏 906

win10 + Anaconda3 无法安装 Scrapy

WARNING conda.gateways.disk:exp_backoff_fn(49): Uncaught backoff with errno EEXIST 17 ERROR conda.core.link:_execute(507): An error occurred while installing package ‘None’. NotWritableError: The cur...

平行空间 2572

win10下安装scrapy

采坑笔记 听说scrapy在anaconda下安装只需要一条命令,于是老夫本着省事省力的态度在anaconda下去安装scrapy结果是真的悲催。最坑的不是安装失败了,是一切都正常结果在pycharm中配置解释器的过程中怎么都配置不好,还真不如在最开始的时候就安装失败呢,白浪费我时间去配置和找错误的原因,结果也没成功。最后还是不得以回到了在默认的python环境下安装scrapy。 步骤如下: ...

梅花14的博客 1006

win10下安装Scrapy

win10下安装scrapy不能直接使用pip3 install Scrapy,需要先安装依赖库,Twisted和PyWin32的百度盘链接附在下面了。 1.安装lxml: pip install lxml 2.安装wheel 这个好早之前安装的,具体忘了。 3.安装Twisted 首先需要下载Twisted,将它拷贝在Python的路径winPy/Scripts中,这个路径有的安装教程说随便放...

陈起之快乐的皮皮的博客 323

anaconda安装scrapy_win10系统下的scrapy安装及conda虚拟环境创建

想要安装scrapy进行爬虫,看到好几篇win10下安装scrapy的教程都提到需要手动安装wheel、lxml等包,最后安装scrapy,这个过程可以说是十分繁琐,同时所需安装的包数量不一,无法确定哪些是对的,所以本着求是的精神,打开了scrapy官网的安装指南。根据官网指南,针对win10,如果你安装了anaconda,仅需要一行代码:conda install -c conda-forge ...

weixin_39757122的博客 122

win10下安装Scrapy框架和创建项目

Scrapy是Python语言的著名爬虫框架。废话少说,直入主题。 ① win10安装Scrapy框架: pip install scrapy pip install pypiwin32 后面这个如果不安装的话,运行代码的时候可能会报错。 ② 创建Scrapy项目: scrapy startproject 项目名 ③ 创建爬虫: cd 项目目录 scrapy genspider 爬虫名 “要爬...

Awt_FuDongLai的博客 659

Python爬虫Scrapy框架学习第1课 Win10系统下scrapy安装和环境搭建

scrapy安装 scrapy在Windows系统下的安装十分繁琐,它需要提前很多依赖包,以确保这个框架的正常使用,所有必须确定每一步都是完美的,还希望大家能够坚持完成! 一共分为六步进行: ● 1、wheel ● 2、lxml ● 3、PyOpenssl ● 4、Twisted ● 5、Pywin32 ● 6、Scrapy 1、wheel wheel库的安装是为了第二步lxml库的安装,主要是为...

黎明前最后的黑暗的博客 947

win10 64位 安装scrapy

在学习python时,不可避免下载了Anaconda,当我打算写爬虫时,urllib,requests,selenium,pyspider都已经安装好了,可以直接使用了,但是有一天我想要使用scrapy模块时,发现竟然没有安装,于是自己参照网上教程写下win64安装scrapy步骤: 1.升级pip python -m pip install --upgrade pip 2.安装whe...

triangle的技术博客 365
上一篇: python提取GFF3文件信息
下一篇: 《python数据分析与挖掘实战》笔记-3.1代码问题
星轨无尽
博客等级 码龄10年 39粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值