Scrapy框架运行机制

最新推荐文章于 2024-10-25 23:53:19 发布

原创

最新推荐文章于 2024-10-25 23:53:19 发布 · 1.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python

Scrapy框架

Scrapy各组件功能

1，scrapy Engine(引擎)：负责Spider、ItemPipline、Downloader、Scheduler中间的通讯，信号，数据的传递等。
2，Scheduler(调度器)：负责接收引擎发送过来的request请求，并按照一定的方式进行整理排列、入队，当引擎需要时交还给引擎。
3，Downloader(下载器)：负责下载scrapy Engine(引擎)发送过来的所有Request请求，并将其获取到的Response交还给scrapy Engine(引擎)，由引擎交给Spider来处理。
4，Spider(爬虫)：负责处理