Windows下给python安装scrapy详细教程

Python3安装scrapy的玄学 一不小心把Linux服务器的重要文件给删掉了,不能连接ssh,只能重新做镜像安装了,什么开发环境都没有了。 刚开始一起正常,在使用pip install安装scrapy的时候遇到了经常出现的问题: Collecting Twisted>=13.3.0 (from scrapy) Could not find a version that satisfies the requirem... 阅读详情

original url:

第一步:安装Python
我安装的是Python 3.4.2 32bit 版本,电脑上已经安装VS2015(vs是必须安装的,2008以上版本都可以,否则会运行报错)(一定注意安装过程中要勾选path变量) 我是默认安装在了C盘(3+版本的python是默认安装了pip和easy_install的,这两个东西是用来安装模块和扩展包的管理工具)

第二步:安装pywin32
下载官方网址:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 如打不开,在https://sourceforge.net/projects/pywin32/下点击file一栏,然后点最新的Build,我选择的是Biuld 220.zip
文件格式是这样pywin32-220.win-amd32-py3.4.exe ;amd32表示你安装的32位的python;py3.4表示的是你的python版本是3.4系列,点击下载后,因为是.exe可执行文件,直接运行安装即可。
安装完成,在命令行python内,输入

    import win32

不报错即可。

第三部:安装pyOpenSSL
因为从2010年后的版本挂在了github上了,看客们直接去找下载也可以。
打开计算机的cmd窗口,输入
pip install pyOpenSSL
即可安装完成,在命令行python内入
import OpenSSL
不报错即安装完成。(注意大小写)
(有可能你输入pip install pyOpenSSL
提示你没有此命令,那可能是没给pip配置环境变量,也有可能输入后报错,类似这样的错误:scikit_image-0.12.3-cp27-cp27m-win32.whl is not a supported wheel on this platform 这个其实就是你的版本不够新,这时候可以在cmd命令中输入python -m pip install --upgrade pip升级你的pip
)

第四步:安装lxml
Windows下直接pip install lxml会报错(“make sure the development packages of libxml2 and libxslt are installed!”)所以按如下步骤:
下载网址:http://www.lfd.uci.edu/~gohlke/pythonlibs/
此网址内包括了很多的python扩展,可以使用Ctrl+F搜索 lxml 即可
这里的版本格式如下所示lxml-3.6.1-cp35-cp35m-win32.whl
在这里需要注意了:cp~ 代表不同的版本支持,我们需要先查看我们安装的python版本支持的是哪个版本,查看方法如下:在cmd命令行 python环境下输入

import pip
print(pip.pep425tags.get_supported())

如图所示:
这里写图片描述
可以看到,我的版本是cp34,win32 所以我选择的是lxml-3.8.0-cp34-cp34m-win32.whl
下载下来后,把下载的whl文件放在python/scripts文件夹下(当然,放在任何一个系统环境变量path路径上都可以)。
在命令行输入

pip install lxml-3.8.0-cp34-cp34m-win32.whl

即可安装,完成安装后,在命令行pyhton内输入import lxml不报错即安装完成
第五步:安装zope.interface
下载网址:https://pypi.python.org/pypi/zope.interface#downloads
或者到:http://www.lfd.uci.edu/~gohlke/pythonlibs/
格式如:zope.interface-4.4.2-cp34-cp34m-win32.whl
同样选择上面查看的已安装python支持的cp34,win32版本,此whl文件后面的安装方法如上一步骤的lxml安装方法
安装完成,在命令行python内输入import zope.interface,如果没报错,则说明zope.interface安装成功。

第六步:安装Twisted
官网上支持Windows的最新版本16.3.0,只支持python2.7,
不过没关系,我们在cmd命令行窗口直接使用命令pip install Twisted
即可安装完成(这要归功于我们前面安装的几个依赖扩宽,所以必须安装其他,最后再安装这个)
ps:这里可能会提示unable to find vocarsall.bat;
这时候不用担心,还是到http://www.lfd.uci.edu/~gohlke/pythonlibs/ 进行搜素(CTRL+F)twisted,
这里写图片描述
找到对应的版本,用pip install +文件名 在cmd命令下进行安装。
安装完成,在命令行python内,输入 import Twisted
(如果不提示找不到该模块的话,那就试试 import twisted ) 如果没报错,则说明安装成功。

第七步:最后一步,安装Scrapy
上面的铺垫做好了,我们终于可以享受到胜利的果实啦!在cmd中执行如下命令,pip install Scrapy 安装完成即可!完成后,在cmd输入Scrapy,如下图显示Scrapy信息即表示安装成功。
这里写图片描述

到此,我们终于完成了全部的Scrapy及相关组件的安装了,精心做此贴,就是希望后来者能少走弯路,多省点时间学习Scrapy爬虫框架。

windows环境下在python2.7下安装Scrapy 大数据越来越火,可是海量的数据很难轻易拿到,于是爬虫来了,早先人们用Java,c++语言进行数据的获取,可是后来Python的诞生与发展,由于其代码简洁易懂,并且有大量完美的库函数,使其在最近几年很火。     获取网站的数据的代码很多,并且也有很多框架,今天来说一说scrapy框架,它是人们获取海量数据一个很好的框架。scrapy = search + python;下面就来说一说scra 阅读详情

相关推荐

Windows系统下Python Scrapy完整安装教程

items.py用于定义数据模型,即爬取数据的结构。通过定义Item类,可以统一数据的存储格式,便于后续处理。Scrapy 中的爬虫类主要有两种基类:和。前者适用于手动控制请求和响应的场景,后者则提供了自动链接提取的功能。

weixin_33419305的博客 999

Zope组件架构和接口

原文出处:The Zope Component Architecture - Interfaces, Adaptation, and Duck Typing 原文作者: Griddle Noise 授权许可:创作共用协议 翻译人员:FireHare 校对人员:Leal...

508

300个fpga练手项目推荐

• 按键设置BPM,LED和蜂鸣器同步打拍(支持4/4、3/4拍)• 例:先实现DDR3控制器(基础),再构建视频处理流水线(集成)◦ 驱动小型e-Paper显示日期/时间(SPI接口,静态刷新)◦ 音频输入经FFT后,用LED柱状显示频率能量(8频段简化)◦ 通过HC-05模块接收手机指令,控制电机方向(前进/后退)• 随机点亮LED,用按钮响应,数码管显示反应时间(毫秒级)• 8个LED旋转闪烁,按钮停止后显示中奖编号(带减速动画)• 用4方向按键输入手势(如→→←↑),正确后点亮绿色LED。

qq_62784677的博客 7646

Python爬虫之scrapy框架的安装及使用示例

以上是Scrapy框架创建爬虫的基本步骤和示例。Scrapy仅提供了基本的工具和框架,开发者可以使用Scrapy的灵活性进行进一步的扩展和开发。无论是基于规则的Web爬虫,还是更复杂的爬虫,Scrapy框架都是一个强大的工具,能够提供高效的数据爬取和数据处理。

naer_chongya的博客 4095

树莓派4B串口舵机控制全攻略:从pigpio库安装到Python脚本调试

本文详细介绍了如何在树莓派4B上通过pigpio库和Python脚本实现串口舵机的精确控制。从硬件串口配置、pigpio库安装到舵机通信协议解析和Python脚本开发,提供了完整的解决方案和调试技巧,适用于机械臂控制等实际项目应用。

k8s6orchestrator的博客 431

QuickFix Java 讲解(一)概述、下载方法,和协议内容

本系列力求手把手教你怎样利用QuickFix Java 搭建自己的 FIX 协议收法平台,以及其中的注意事项。 所有源码的地址(免费): https://github.com/zongzhec/QuickFixPractise 1. 什么是FIX,QuickFix,Quick Java? 1.1. 什么是FIX 官网以及其他翻译自官网的帖子都太官方了,这里我们设想一个情景: 你是一个交易员,现在客户打电话来让你下个单买点股票。你啪啪啪的在你的机器上熟练地输入了下单指令。系统显示:成...

4574

在Windows中安装Scrapy

在Windows上安装scrapy是一个很痛苦的事情。可能会出现各种各样的异常BUG。这里总结了两种安装方法。

金戈鐡馬 2075

那些年对支付宝的研究[整理]

支付宝功能强大.他内部各个功能间的跳转是通过Uri 实现的.而使用window.location.href 即可.跟浏览器一样的协议.很方便 H5启动支付宝: alipays://platformapi/startapp?appId=20000067&url=网址 alipays://platformapi/startapp?appId=20000691&url=网址 ali...

技术专研 8919

Python之Scrapy爬虫框架安装及使用详解

Scrapy 是用 Python 实现的一个为了采集网站数据、提取结构性数据而编写的应用框架。常应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫,抓取指定网站的内容或图片。1.引擎(Engine)– 引擎负责控制数据流在系统所有组件中的流向,并在不同的条件时触发相对应的事件。这个组件相当于爬虫的“大脑”,是整个爬虫的调度中心。2.调度器(Scheduler)

风中追风 9559

用Python爬取大连商品交易所期货实时行情:从入门到实战

python复制编辑# utils.py"豆粕": "M0","铁矿石": "I0","聚乙烯": "L0","玉米": "C0","聚丙烯": "PP0","棕榈油": "P0"本项目展示了:✅ 如何从新浪财经 API获取主力合约实时数据✅ 使用Python异步爬虫技术) 提升效率✅ 利用pandas和matplotlib进行结构化分析与可视化✅ 具备良好的扩展性,可对接金融、农业、能源等数据需求场景✅ 可作为期货量化策略数据源✅ 可嵌入自动化报告系统。

2201_76125261的博客 1248

实战干货|.NET9 C#上位机:多PLC并发通信+数据防丢+指令精准下发(10台设备实测+踩坑实录)

摘要:本文介绍了一个基于.NET9重构汽车零部件产线10台西门子S7-1200 PLC并发通信的工业级解决方案。针对原有系统存在的同步轮询阻塞、数据丢失、指令重复等问题,采用连接池复用、异步并发控制、超时隔离等技术,实现800ms内完成10台PLC并发采集、零丢包率、100%指令精准下发。方案通过.NET9的ThreadPool调度优化和ValueTask内存管理,将CPU占用控制在15%以内,解决了多PLC通信中的并发冲突、超时扩散等核心痛点,并提供了可直接复用的工业级代码实现。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 455

Windows安装python爬虫Scrapy

在linux或者mac os下安装Scrapy只要pip intall Scrapy命令就行了,而在windows下安装比较麻烦,而且会遇到很多问题 1.安装python下载安装包 在官网直接点下载按钮默认会下载32位的python,所以选择安装的时候要根据自己是64位系统还是32位系统选择对应的python windows各个版本python下载链接我这里是64位操作系统,所以选择pyt

洞庭春色 1155

性能优化-高通cDSP(QDSP6)架构详解

高通cDSP开发的商业价值30秒快速认识高通cDSP开发的商业价值【高通cDSP旨在处理一些简单但需要大量计算的场景,如图像处理、科学计算、AI训练、计算机视觉等。这些场景使用CPU来运算会极大的降低CPU的吞吐量,因此利用现代寄存器较宽的特性设计出了适配数据并行的DSP芯片,cDSP就是典型的代表。利用cDSP+CPU既可以满足一般的使用场景,也可以完成现代图像和视频数据的处理。

发狂的小花的博客 5947

WIndows下Python-Scrapy安装

Windows 下Scrapy安装学习Python,必然会为Python强大的网络功能所惊叹。作为一个Python的初学者,我非常希望可以自己写一个爬虫,去爬爬一些网站的数据。Scrapy工具可以帮助我们快速的实现用Python做一个爬虫的功能。 好了废话,不多说,直接开始简述我在Windows下安装Scrapy的过程及经验。(由于初学,可能存在着一些理解错误和问题,欢迎大家指出批评,大家一起学习

jn_aswq的专栏 1116

单反相机物镜设计[DG-10]

REAR(要打在像面,操作数要找像面对应位置15):以透镜单位表示的真实光线径向坐标,波长由Wave定义,参见“Hx、Hy、Px和Py”。最小玻璃厚度最小不能小于semi-dia的1/10,要根据layout看有没有过厚过薄,反复调节。PROD:两个操作数的乘积(操作#1 X操作#2)。3x4就是57.3x0.41=23.5。拦光一般在第一面和最后一面操作,减少边缘无用光线。光阑面与镜面贴近,要调距离,同时设置光阑像差。后截距是指从镜头后表面到焦点的距离。CONS:弧度转为角度。镜头相互嵌入,有错误。

weixin_72050316的博客 600

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

python windows 安装scrapy_Windows下安装Scrapy

这几天正好有需求实现一个爬虫程序,想到爬虫程序立马就想到了python,python相关的爬虫资料好像也特别多。于是就决定用python来实现爬虫程序了,正好发现了python有一个开源库scrapy,正是用来实现爬虫框架的,于是果断采用这个实现。下面就先安装scrapy,决定在windows下面安装。Scrapy简介Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于...

weixin_39678304的博客 264

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

python怎么安装scrapy_windows下安装python+scrapy

最近忽然有了想要学习python爬虫的想法,但是首先需要安装工具。python安装倒是很轻松,只要傻瓜式一键安装即可,但是在Windows下安装scrapy倒不是件容易的事情。言归正传,说下我从昨天下午到今天上午安装的步骤:1、python的安装进入python的官网https://www.python.org/,点击downloads选项进入下载页,如图:根据自己的机型,选择下载对应的安装包,我...

weixin_39790102的博客 156

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

python windows 安装scrapy_Python Scrapy在windows上的安装方法

如果想要学习爬虫,肯定会了解Scrapy,但安装Scrapy的方法相对于安装其他第三方库麻烦一点。下面总结一下在我的电脑上安装Scrapy的方法,我的电脑是Windows10,32位操作系统。有如下几个步骤:1. 安装 Microsoft Visual C++ Build Tools,可以从https://visualstudio.microsoft.com/downloads/获取,得到这样一个...

weixin_39643679的博客 131

windows下的python安装scrapy

python五步在windows下的环境安装scrapy

ragerabbitr的博客 1002

Windows安装Python+Scrapy

一、进入官网(https://www.runoob.com/python/python-install.html)下载python安装包 x86是32位 x86-64是64位 我这里下载的红框标记的最新版64位 下载成功后直接安装完成 二、安装Scrapy 首先下载twisted(https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted) 根据自己的python版本下载,因为我安装的是3.8版本,电脑室64进制,所以下载下面红框中这个 .

兔子窝 270

windows下安装python+scrapy

windows下安装python+scrapy赞  |   0收藏  |  01.5k 次浏览最近忽然有了想要学习python爬虫的想法,但是首先需要安装工具。python安装倒是很轻松,只要傻瓜式一键安装即可,但是在Windows下安装scrapy倒不是件容易的事情。言归正传,说下我从昨天下午到今天上午安装的步骤:1、python的安装进入python的官网https://www.python....

vample的博客 1086

python windows 安装scrapy_windows系统安装Scrapy(实操)

我的电脑环境:windows7,64位。已有python3。安装Scrapy步骤:安装python2.7-->安装pywin32-->安装pip-->安装lxml-->安装pyOpenSSL-->安装Scrapy一、安装python2.7我下载的是python2.7.9,双击安装即可。记得设置环境变量:c:\Python27\python.exe C:\Python2...

weixin_39949473的博客 199

Python Scrapy在windows上的安装方法

如果想要学习爬虫,肯定会了解Scrapy,但安装Scrapy的方法相对于安装其他第三方库麻烦一点。 下面总结一下在我的电脑上安装Scrapy的方法,我的电脑是Windows10,32位操作系统。有如下几个步骤: 1. 安装 Microsoft Visual C++ Build Tools,可以从https://visualstudio.microsoft.com/downloa...

weixin_30737363的博客 185

Python:Windows7 (64位)系统下安装Scrapy详细教程

Python:Windows7 (64位)系统下安装Scrapy详细教程 分类: Python 2014-02-18 00:45 245人阅读 评论(0) 收藏 举报 目录(?)[+] 环境Python的安装easy_install的安装Scrapy依赖项的安装安装Scrapy相关文章 环境 Windows7 64位Python2.

开享 2万+

python3.7怎么安装scrapy库_python3.7 Scrapy 在 Windows 平台的安装

python3.7 Scrapy 在 Windows 平台的安装C:\Users\admin>pip installScrapy-1.6.0-py2.py3-none-any.whlProcessingc:\users\admin\scrapy-1.6.0-py2.py3-none-any.whlCollectingPyDispatcher>=2.0.5(fromScrapy==1.6...

weixin_33995900的博客 263
上一篇: 图像的特征提取
Study_Forward
博客等级 码龄9年 0粉丝 2原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值