scrapy源码分析（六）---------------CrawlProcess

最新推荐文章于 2025-10-21 15:09:16 发布
最新推荐文章于 2025-10-21 15:09:16 发布
阅读量6.2k 收藏 13
点赞数 4
CC 4.0 BY-SA版权
分类专栏： Python 文章标签： python twisted 源码 scrapy engine scrape 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/happyAnger6/article/details/53453668
本文深入分析了Scrapy的CrawlProcess源码，探讨了Crawler、CrawlerRunner和CrawlerProcess之间的关系。Crawler代表单个爬取任务，CrawlerProcess能管理多个任务并启动Twisted reactor。CrawlerRunner作为CrawlerProcess的父类，负责处理shutdown信号和配置logging。文章通过注释源码的方式解释了crawl和start方法的实现。

上一篇教程中讲到crawl命令最终会执行CrawlProcess的crawl和start方法。这一篇对CrawlProcess的源码进行详细分析，来了解一下是如何进行爬取任务的。

先看一下CrawlProcess的构造函数:

scrapy/crawler.py:

可以看到这个模块一共有3个类:Crawler,CrawlerRunner,CrawlerProcess.

Crawler代表了一种爬取任务，里面使用一种spider，CrawlerProcess可以控制多个Crawler同时进行多种爬取任务。

CrawlerRunner是CrawlerProcess的父类，CrawlerProcess通过实现start方法来启动一个Twisted的reactor,并控制shutdown信号，比如crtl-C，它还配置顶层的logging模块。

下面结合源码对源码进行注释解析：
</

了解本专栏 订阅专栏 解锁全文 超级会员免费看
爬虫日记(83)：Scrapy的CrawlerProcess类（一）
大坡3D软件开发
05-26 1091
前面学习了Twisted的基础知识了，接着回过头来再看整个Scrapy程序，在执行 Scrapy 命令时，主要经过以下几步： 1）调用 cmdline.py 的 execute 方法 2）找到对应的命令实例解析命令行 3）构建 CrawlerProcess 实例，调用 crawl 和 start 方法开始抓取 而 crawl 方法最终是调用了 Cralwer 实例的 crawl，这个方法最终把控制权交给了Engine，而 start 方法注册好协程池，就开始异步调度执行了。 在 cmdline.p
爬虫日记(83)：Scrapy的CrawlerProcess类(四）
大坡3D软件开发
05-28 421
当前面准备工作都已经做之后，我们就需要让爬虫转换控制权了，就是从命令里转移到引擎运行了，它的触发代码就是在下面： class Command(BaseRunSpiderCommand): ... def run(self, args, opts): ... self.crawler_process.start() ... 这行代码self.crawler_process.start()是调用crawler_process对象，也就...
Python爬虫调度工具深度测评：哪一款最适合你的项目规模？
最新发布
LogicPlex的博客
10-21 344
本文深入评测主流Python爬虫调度工具，解析Scrapy-Redis、Celery与Airflow在不同项目规模下的适用场景与性能表现。涵盖分布式部署、任务管理与扩展性等关键优势，助你高效构建稳定爬虫系统。值得收藏，点击了解最佳选型方案。
【scrapy 动态配置爬虫】同进程多爬虫，基础事例
之度的博客
03-22 751
有很多时候我们需要从多个网站爬取所需要的数据，比如我们想爬取多个网站的新闻，将其存储到数据库同一个表中。我们是不是要对每个网站都得去定义一个Spider类呢？ 其实不需要，我们可以通过维护一个规则配置表或者一个规则配置文件来动态增加或修改爬取规则，然后程序代码不需要更改就能实现多个网站爬取。 要这样做，我们就不能再使用前面的scrapycrawltest这种命令了...
（三）Scrapy的抓取流程——CrawlerProcess
Catastrophe
04-09 5980
上一章提到scrapy的启动是通过ScrapyCommand对象中的crawler_process实现的，crawler_process是通过crawler.py下的CrawlerProcess类创建的实例。该文件下定义了Crawler，CrawlerProcess和CrawlerRunner三个类。 CrawlerProcess是CrawlerRunner的子类，而命令文件中的self.craw...
爬虫日记(83)：Scrapy的CrawlerProcess类(三）
大坡3D软件开发
05-27 418
前面完成了CrawlerRunner类构造函数的分析，接着从哪里继续开始呢？我想应该按顺序执行的主线来进行，可以从之前运行的命令里看到执行下面的函数： class Command(BaseRunSpiderCommand): def run(self, args, opts): ... crawl_defer = self.crawler_process.crawl(spname, **opts.spargs) 所以我们可以从crawl函数来入手，它们之...
scrapy-azuresearch-crawler-samples：Scrapy作为Azure搜索示例的Web爬网程序
01-30
scrapy-azuresearch-crawler-samples Scrapy作为Azure搜索示例的Web爬网程序 样品 ：Web Scraping的报价列表，并使用Azure搜索将它们编入索引 ：在东京进行Web爬网的工作，并使用Azure搜索对其进行索引 主义：Web...
scrapy-redis-master_scrapy-redis_juzi1122_scrapy_
10-01
Scrapy-Redis是一个基于Scrapy的分布式爬虫框架，它扩展了Scrapy的功能，使其能够处理大规模的网络抓取任务。Scrapy是一个流行的Python爬虫框架，而Scrapy-Redis则是将其与Redis数据库结合，利用Redis作为数据队列，...
Python基于Scrapy-Redis分布式爬虫设计毕业源码(毕设项目).zip
06-08
Python基于Scrapy-Redis分布式爬虫设计毕业源码(毕设项目).zip 该项目代码主要针对计算机、自动化等相关专业的学生从业者下载使用，项目代码都经过严格调试，确保可以运行！放心下载使用。 也可作为期末课程设计、...
scrapy-redis源码分析之发送POST请求详解
09-09
在Scrapy-Redis中实现POST请求的关键在于理解其工作流程和源码。Scrapy-Redis的核心类`RedisSpider`继承自`RedisMixin`和`Spider`。`RedisSpider`并不直接包含处理POST请求的方法，如`start_requests`或`make_...
docs-scrapy-org-en-1.8.zip
04-10
这个名为"docs-scrapy-org-en-1.8.zip"的压缩包包含了Scrapy 1.8版本的官方英文文档，是学习和理解Scrapy框架的重要资源。以下是基于Scrapy 1.8版本的几个关键知识点的详细说明： 1. **Scrapy架构**：Scrapy基于...
爬虫日记(83)：Scrapy的CrawlerProcess类(二）
大坡3D软件开发
05-26 495
因此继续来分析这两个函数的代码，才能理解蜘蛛类怎么样加载进来，怎么样设置twisted底层的工作框架。我们来查看_get_spider_loader函数的代码，它的定义如下： 第131行使用了staticmethod装饰器，它是用来创建一个静态方法。静态方法类似普通方法，参数里面不用self。这些方法和类相关，但是又不需要类和实例中的任何信息、属性等等。如果把这些方法写到类外面，这样就把和类相关的代码分散到类外，使得之后对于代码的理解和维护都是巨大的障碍，而静态方法就是用来解决这一类问题的。因此可以认
scrapy.crawler.CrawlerProcess
Claroja
09-04 2738
https://doc.scrapy.org/en/latest/topics/api.html#crawler-api 方法 描述 其他 crawl(crawler_or_spidercls, *args, **kwargs) 根据传入的参数启动一个爬虫 crawlers 查看已经添加的爬虫 create_crawler(craw...
Scrapy：运行爬虫程序的方式
aimianwo1708的博客
07-04 1458
Windows 10家庭中文版，Python 3.6.4，Scrapy 1.5.0， 在创建了爬虫程序后，就可以运行爬虫程序了。Scrapy中介绍了几种运行爬虫程序的方式，列举如下： -命令行工具之scrapy runspider（全局命令） -命令行工具之scrapy crawl（项目级命令） -scrapy.crawler.CrawlerProcess -scrapy...
scrapy源码分析（七）------------ Crawler
happyAnger6的专栏
12-04 9916
上一节讲了CrawlProcess的实现，讲了一个CrawlProcess可以控制多个Crawler来同时进行多个爬取任务，CrawlProcess通过调用Crawler的crawl方法来进行爬取，并通过_active活动集合跟踪所有的Crawler. 这一节就来详细分析一下Crawler的源码。 先分析构造函数的关键代码： scrapy/crawler.py: class C
【系列】scrapy启动流程源码分析(2)CrawlerProcess主进程
csdn_yym的博客
01-05 1826
CrawlerProcess主进程 它控制了Twisted的reactor，也就是整个事件循环。它负责配置reactor并启动事件循环，最后在所有爬取结束后停止reactor。 另外还控制了一些信号操作，使用户可以手工终止爬取任务。 此类在scrapy/crawler.py中定义，同文件内有三个类：Crawler、CrawlerRunner和CrawlerProcess。 scrapy/crawl...
Python Scrapy：使用Scrapy Crawler Process进行爬虫启动
Python编程之道的博客
04-07 1776
Scrapy是Python生态中最强大的网络爬虫框架之一，而Crawler Process是其核心的爬虫启动和管理机制。理解Scrapy内部的爬虫启动流程掌握通过代码控制爬虫运行的高级技巧实现复杂的爬虫调度和管理需求优化爬虫启动性能和资源利用率本文涵盖从基础概念到高级用法的完整知识体系，适用于各种规模的爬虫项目。首先介绍Scrapy的基本架构和Crawler Process的定位然后深入分析Crawler Process的核心实现原理接着通过实际代码演示各种使用场景。
scrapy 通过 CrawlerProcess 来同时运行多个爬虫
qq_41020281的博客
09-20 6602
直接上例子代码： # coding: utf8 from scrapy.crawler import CrawlerProcess from scrapy.utils.project import get_project_settings from werkzeug.utils import import_string, find_modules scope = 'all' process...
scrapy框架中Crawlspider模块源码剖析
python_lzt的博客
11-03 863
一、前言 1、scrapy从Terminal中通过genspider命令创建一个蜘蛛，其中包含四个模块，分别为spider，crawlspider，csvfeedspider和xmlfeedspider，其中spider(basic模块)和crawlspider最为常用。 2、做过web后台开发的都知道，很多网站中定义url都是有一定规则的（如django路由系统中定义的urls规则就是正则表达式...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

self-motivation

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值