scrapy-爬虫工具-工作流程图

最新推荐文章于 2023-05-08 09:48:05 发布

原创最新推荐文章于 2023-05-08 09:48:05 发布 · 1.1k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#scrapy #流程图 #scrapy运行流程图

数据挖掘工具专栏收录该内容

1 篇文章

订阅专栏

本文详细解析了Scrapy爬虫工具的工作流程，包括引擎如何统揽全局，与Spider、Scheduler、Downloader及ItemPipeline之间的交互过程，为理解Scrapy运行机制提供了清晰的指导。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

scrapy-爬虫工具-工作流程图：

在这里插入图片描述

scrapy运行流程
1、Engine开始统揽全局,向Spider索要URL
2、Engine拿到url后,给Scheduler(调度器)入队列
3、Scheduler从队列中拿出url给Engine,通过Downloader Middlewares
给Downloader去下载
4、Downloader下载完成,把response给Engine
5、Engine把response通过Spider Middlewares给Spider
6、Spider处理完成后,把数据给Engine,交给Item Pipeline处理,
把新的URL给Engine,重复2-6步
7、Scheduler中没有任何Requests请求后,程序结束