Win10环境Python3.6安装Scrapy1.4（好多坑）

Win10 Python3.6 安装Scrapy1.4实战避坑指南

最新推荐文章于 2025-04-21 23:37:30 发布

原创

最新推荐文章于 2025-04-21 23:37:30 发布 · 5.1k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#python #框架 #爬虫 #scrapy

本文记录了在Win10环境下使用Python3.6安装Scrapy1.4过程中遇到的坑及解决方法，包括Microsoft Visual C++ 14.0的安装问题、Twisted包的适配问题、环境变量配置等。通过下载特定版本的Twisted和Scrapywhl文件，成功解决安装问题。

最近刚刚开始学习Python，先看了一些Python爬虫技术的文章，其中很多人都提到了Scrapy框架，于是想安装学习一下，结果弄了好久，遇到了各种坑，找了各种方法，终于填完。写下此文，希望对后来的小伙伴有些帮助。

我的系统环境是Win1064位，安装了Python3.6。

先说一下我遇到的几个大坑：

1、Scrapy1.4是支持Python3的，但是不管你是在命令行中安装，还是用pycharm安装，都会提示“Microsoft Visual C++ 14.0 is required”。如果你真的很听话的补充安装了，会发现根本就不行。。

2、百度问大神，知道原来Scrapy需要先安装twisted包，有些人还提到要安装lxml包，但我没有遇到，我的Python已经安装过了。于是下载了Twisted包，发现官方的包只能安装在Python2上，不能装在Python3上。<

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

jian_ming_zhang

关注关注

3
点赞
踩
6

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Python Scrapy：使用Scrapy Downloader Middleware进行响应处理

Python编程之道的博客

04-26

860

在网络爬虫开发中，Scrapy是一个功能强大且广泛使用的Python框架。Scrapy Downloader Middleware作为Scrapy架构中的重要组成部分，主要负责处理请求和响应。本文章的目的是详细介绍如何使用Scrapy Downloader Middleware进行响应处理，涵盖了从核心概念到实际项目应用的各个方面。范围包括对Downloader Middleware的原理讲解、具体实现步骤、实际案例分析以及相关工具和资源的推荐。

面向AIGC检测模型训练的高质量文本数据爬虫设计与实现（Python+Scrapy+Playwright+智能代理）

最新发布

2201_76125261的博客

09-01

173

ChatGPT、Gemini、文心一言等大型语言模型（LLMs）已能生成流畅、连贯且极具迷惑性的文本，涵盖了新闻、评论、论文、代码乃至创意写作等多个领域。获取人类书写文本最直接的方式就是从互联网上抓取已被确认为人类创作的内容，例如知名新闻网站（BBC、Reuters）、权威学术期刊、特定论坛的高质量讨论帖等。同时，为了获取AI生成文本，我们需要抓取那些明确标注为AI创作内容的平台（如某些AI写作工具的示例库），或通过API自行生成后标注。它们的性能极度依赖于训练数据的规模和质量。中，我们实现数据的后处理。

1 条评论您还未登录，请先登录后发表或查看评论

Win10下安装scrapy过程记录

熊猫

11-01

686

本文基于Win10 python 3.6。 1、下载python，并安装。 https://www.python.org/downloads/windows/ 正确安装成功确认：打开cmd，输入python命令，回车。 2、默认选项的安装的python，会自带pip。pip用于下载安装python模块。确认是否有安装，通过打开cmd，执行pip,命令尝试下。33 3、安装py...

win10 Scrapy的安装

octopus的专栏

04-21

468

由于在Scrapy的依赖库文件中，pywin32和Twisted的底层是基于C语言开发的，因此需要安装C语言的编译环境。对于Python3.8来说，可以通过安装Visual C++Build Tools来安装这个环境。Visual C++Build Tools是微软公司开发的，下载地址为https://visualstudio.microsoft.com/zh-hans/downloads/ ...

python3.6安装scrapy-python3.6 安装scrapy

weixin_37988176的博客

11-01

305

我首先执行pip安装命令：pip3 install scrapy结果提示以下错误：Could not find a version that satisfies the requirement Twisted>=13.1.0 (from scrapy) (from versions: )No matching distribution found for Twisted>=13.1.0 (from...

Windows Python3.6下安装Scrapy

Mr_blueD的博客

03-27

3649

第一步： pip install wheel 第二步: pip install lxml 如果第二步不成功，则进入https://www.lfd.uci.edu/~gohlke/pythonlibs/网站内按 Ctrl+F 输入 lxml 找到 lxml.whl文件。其中 lxml-4.2.1 是模块版本， cp27 是所支持的Python版本，win32是支持电脑...

python的scrapy框架的安装_win10系统如何安装scrapy框架

weixin_39623244的博客

11-23

183

win10系统如何安装scrapy框架工具/原料win10系统python3.6scrapy方法/步骤1第一步：首先，我们先在电脑上安装好python3.6并且配置好环境变量，以可以直接在命令行界面输入python命令可以出现如图的界面为主。2第二步：我们在命令行界面直接输入“pip install scrapy”命令。3第三步：稍等片刻，命令行会开始安装scrapy。4第四步：如果出现报错，基本...

使用Scrapy框架开发高效的爬虫

2201_76125261的博客

04-21

478

高效性：Scrapy基于异步非阻塞的Twisted库，使得每个请求都能够并行处理，抓取速度非常快。可扩展性：Scrapy提供了多种扩展机制，可以非常方便地加入自定义中间件、管道等。数据处理能力：Scrapy不仅能够抓取网页内容，还能够对数据进行清洗、提取和存储。简洁的API：Scrapy框架提供了简洁而高效的API，开发者可以快速上手，进行爬虫开发。支持分布式爬取：Scrapy支持分布式爬虫，能够将多个爬虫节点部署到集群中，提高抓取效率。python复制编辑Win64;

scrapy 保存mysql_Scrapy存入MySQL（五）：实战Scrapy中文网存入MySQL

weixin_34887818的博客

01-19

551

通过前面的scrapy教程，我们已经把scrapy存入Mysql的每一个细节都讲得一清二楚，包括：MySQL的安装(文：《Mysql快速无坑安装》)、MySQL的管理(文：《Navicat使用详解》)、MySQL驱动安装问题(文：《Python Mysql驱动安装及填坑教程》)、Scrapy数据存入MySQL实现原理(文：《MySQLPipeline插件实现细节》)，如果对细节还有疑惑，不妨移步上...

win10 python安装及环境配置、scrapy框架安装及PyCharm集成

风水月的专栏

05-15

3245

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的Python应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 Scrapy安装环境必备项：python、pip工具、wheel模块、lxml模块、twisted模块、pyOpenSSL模块（需要OpenSSL）、scrapy模块 1、pip是一个安装和管理 Python 包的工具 2、wheel本...

Windows下python3.6环境及Scrapy爬虫框架所需文件

07-01

Windows下Python3.6版本Scrapy爬虫框架所需文件，里面有wheel文件，pyhon3.6安装之后就有pip工具，使用pip install或者pip3 install + wheel安装wheel支持，然后使用pip install或者pip3 install + 文件名安装对应文件.

scrapy 安装依赖包

06-26

pip 安装 scrapy 失败的解决办法，只有手动安装相关的依赖包，本包包括lxml-4.3.4-cp37-cp37m-win_amd64.whl、pywin32-224-cp37-cp37m-win_amd64.whl 、Twisted-19.2.1-cp37-cp37m-win_amd64.whl

Scrapy依赖包.zip

12-31

Scrapy的依赖包

python scrapy 64位依赖库

09-29

其中包含 python, lxml, pyopenssl, pywin32, twisted, zope.interface,都是楼主一个一个找来的。。。亲测64位windows可用！这些装完再pip scrapy就好啦~

win10下安装scrapy

梅花14的博客

09-28

895

采坑笔记听说scrapy在anaconda下安装只需要一条命令，于是老夫本着省事省力的态度在anaconda下去安装scrapy结果是真的悲催。最坑的不是安装失败了，是一切都正常结果在pycharm中配置解释器的过程中怎么都配置不好，还真不如在最开始的时候就安装失败呢，白浪费我时间去配置和找错误的原因，结果也没成功。最后还是不得以回到了在默认的python环境下安装scrapy。步骤如下： ...

Windows中python3.6下scrapy框架的安装

apollo_miracle的博客

12-11

1279

一、首先考虑使用最简单的方法安装 pip install scrapy 如果命令提示 error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub. visualstudio.com/visual-cpp-build-tool...

Scrapy在win10（64位）的安装说明

lin

12-10

1983

1.官方安装指南（http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/install.html） 2.下载pywin32 （https://nchc.dl.sourceforge.net/project/pywin32/pywin32/Build%20220/pywin32-220.win-amd64-py2.7.exe） 3. 下载ge

windows python3.6下安装scrapy的几点注意事项

just_so_so_fnc的博客

08-19

630

1、直接在Windows下命令行pip install scrapy安装时时出现 building 'twisted.test.raiser' extension error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visua

win10下安装scrapy不成功的问题解决

张天壮

02-02

2965

一般地，直接通过 pip install scrapy 安装。但是会出现下列问题。 Command ""d:\program files\python\python.exe" -u -c "import setuptools, tokenize;__file__='C:\\Users\\ZHANGT~1\\AppData\\Local\\Temp\\pip-build-hpfttay