【python】网络爬虫——Scrapy

依赖安装

安装scrapy会同时将lxml，pyOpenSSL也安装

pip install twisted

pip install lxml

pip install pywin32

pip install Scrapy

使用import测试安装是否成功

import twisted
import lxml
import OpenSSL
import pywin32_system32
import scrapy

Twisted

Scrapy 使用了Twisted(aiohttp)异步网络框架来处理网络通讯，可以加快下载速度，并且包含了各种中间件接口，可以灵活的完成各种需求。

Scrapy 基于 Twisted。

你可以将 Twisted 和 Asyncio 类比，它们都是为了支持协程而诞生的，只是前者