Superwwz的博客

使用Scrapy爬取数据

scrapy中文文档scrapy是用python实现的一个框架，用于爬取网站数据，使用了twisted异步网络框架，可以加快下载的速度。scrapy的架构图，可以看到主要包括scheduler、Downloader、Spiders、pipline、ScrapyEngine和中间件。Schduler：调度器，负责接受引擎发送过来的request，并按照一定的方式进行整理排列、入队，当引擎需要时，交还给引擎。