windows安装scrapy

最新推荐文章于 2024-11-14 18:03:00 发布

漫天丶飞雪

最新推荐文章于 2024-11-14 18:03:00 发布

阅读量521

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Spider

本文链接：https://blog.youkuaiyun.com/qq_39377418/article/details/89000061

Spider 专栏收录该内容

18 篇文章

订阅专栏

本文详细介绍如何在Windows环境中安装配置Scrapy爬虫框架及创建Scrapy项目的过程。包括安装必要的依赖库如lxml、pywin32、Twisted、pyOpenSSL等，并通过命令行创建Scrapy项目。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天来分享一下如何在windows环境下安装配置scrapy和新建scrapy项目

准备环境

1.python3.6

2.pip命令

配置scrapy环境

首先，win+R快捷键打开cmd命令，如果执行如下命令由于网络问题出错的话，就重试一下

1.安装lxml

pip install lxml

2.安装pywin32模块

pip install pyWin32

3.安装Twisted

Twisted是用Python实现的基于事件驱动的网络引擎框架

pip install twisted

如果此处安装报错，到https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted找到适合自己版本的twisted下载

下载完毕后，安装方法为cmd命令进入刚刚下载的文件的所在路径，然后执行如下命令

pip install [刚才下载的文件名字]

4.安装pyOpenSSL

pyOpenSSL是Python的OpenSSL接口

pip install pyOpenSSL

5.安装scrapy

pip install scrapy

这个时候scrapy环境就搭配完毕了。

新建scrapy项目

1.cmd命令进入你要创建项目的目录

2.执行命令 scrapy startproject template

此时就已经新建完了一个scrapy项目了

ps: scrapy 的项目目录


scrapy 项目目录

scrapy.cfg                  # Scrapy 部署时的配置文件         

spiders                     # 放置 Spiders 的文件夹

    __init__.py

    items.py                # Items 的定义，定义爬取的数据结构

    middlewares.py          # Middlewares 的定义，定义爬取时的中间件

    pipelines.py            # Pipelines 的定义，定义数据管道

    settings.py             # 配置文件