Python-Windows下安装Scrapy

最新推荐文章于 2023-02-03 23:54:25 发布

原创

最新推荐文章于 2023-02-03 23:54:25 发布 · 520 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Python

本文详细介绍了在Windows系统下安装Scrapy框架的步骤，包括安装libxml2dom、wheel、lxml、PyOpenSSL、inzope.interfnce、twisted以及pywin32等依赖，特别针对安装twisted过程中遇到的问题，提供了下载历史版本whl文件的解决办法，最后验证了Scrapy的安装成功。

Windows下安装Scrap

简介

Scrapy 是 Python 开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试

安装Scrapy框架以及安装时出现的一系列错误解决方案

步骤如下：

打开cmd窗口，进入Script目录：cd Python37\Scripts
安装libxlm2dom包，输入pip install libxlm2dom
安装wheel，输入pip install wheel
安装 lxml，输入pip install lxml
安装PyOpenssl 包，输入pip install PyOpenssl
安装inzope.interfnce，输入pip install inzope.interfnce
安装twisted，输入pip install twisted，出现了Microsoft Visual C++ 14.0 is required的错误，网上搜索得知，需要自己去下载twisted（whl文件）并安装
先明确要下载的whl文件版本：在cmd输入 python,有显示python版本，可以根据此版本得知对应的whl文件版本(pyhton3.7对应为cp37，操作系统64对应amd64)；或者接着输入impor pip._internal回车，再输入print(pip._internal.pep425tags.get_supported())，显示出你支持的版本，根据这个版本下载相应的whl文件。