scrapy框架

Scrapy 是一个基于 Twisted 的异步处理框架，是纯 Python 实现的爬虫框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，可以灵活完成各种需求。只需要定制开发几个模块就可以轻松实现一个爬虫。并能扩展相关爬虫插件，实现分布式爬虫。

安装scrapy框架

pip install scrapy

conda 方式按照

conda install -c conda-forge scrapy

使用scrapy创建项目

scrapy是通过命令行来创建项目的，代码的编写还是需要 IDE。项目创建之后，项目文件结构如下所示：

scrapy startproject tutorial

创建好项目之后，项目文件格式如下：

scrapy.cfg
tutorial/
    __init__.py
    items.py
    pipelines.py