scrapy源码分析（八）--------ExecutionEngine

最新推荐文章于 2024-08-06 10:59:23 发布
最新推荐文章于 2024-08-06 10:59:23 发布
阅读量3.4k 收藏 10
点赞数 8
CC 4.0 BY-SA版权
分类专栏： Python 文章标签： python 爬虫 twisted scrapy 源码 ExecutionEngine
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/happyAnger6/article/details/53470638
本文深入分析scrapy的ExecutionEngine源码，探讨open_spider方法中CallLaterOnce、reactor.callLater和slot的机制。CallLaterOnce用于确保函数只调用一次，而heartbeart借助LoopingCall每5秒检查并处理新的request。slot维护了请求的生命周期和进行中的请求状态。

上一节分析了Crawler的源码，其中关键方法crawl最后会调用ExecutionEngine的open_spider和start方法。本节就结合ExecutionEngine的源码进行详细分析。


open_spider方法:

scrapy/core/engine.py:

@defer.inlineCallbacks
def open_spider(self, spider, start_requests=(),
了解本专栏 订阅专栏 解锁全文 超级会员免费看
scrapy源码分析（三）---------ExecutionEngine（二）一个request的周期
happyAnger6的专栏
11-29 3460
上一篇中讲解了ExecutionEngine的主循环流程，下面就具体讲解下不需要搁置时，如何处理一个request，从下载页面到解析页面，最后到数据处理的整个流程。 几个核心的类介绍如下： 1.Scraper:刮取器。用于对下载后的结果进行处理，主要使用ItemPipelineManager对数据进行入数据库等操作。 2.Downloader：下载器。对同时下载网页的并发度进行控制，同时通过
scrapy源码分析（二）----------ExecutionEngine（一）主循环
happyAnger6的专栏
11-28 4575
ExecutionEngine是scrapy的核心模块之一，顾名思义是执行引擎。 它驱动了整个爬取的开始，进行，关闭。 它又使用了如下几个主要模块来为其工作： 1.slot:它使用Twisted的主循环reactor来不断的调度执行Engine的"_next_request"方法，这个方法也是核心循环方法。下面的 流程图用伪代码描述了它的工作流程，理解了它就理解了引擎的核心功能。 另
Scrapy：[scrapy.core.engine] DEBUG: Crawled (200)解决尝试
old_pyer的博客
03-29 4448
2、首页（目类内容）获取正常，进入目类中具体页面获取数据时报错，估算一下，获取量有点频繁，是否跟“得到”cateyes数据时被关“小黑屋”类似。当时，正常调试具体代码，但提前写了获取N页数据，run了几次就获取不到了，页面提示IP频繁，暂不能访问。抱着解决问题就是最好的学习收获的原则，开始解决尝试。1、网络正常，网页正常打开正常、配置正常、代码正常，说明自身和通道环节基本上没有问题。第二部：核对参数setting和items的py文件中的配置是否异常。结果，具体页面数据运行正常。
【JVM】执行引擎 Execution Engine
weixin_40381772的博客
01-10 2671
执行引擎是Java虚拟机（JVM）的核心组成部分之一，它的主要任务是负责装载字节码到其内部。由于字节码并不能够直接运行在操作系统之上，因此需要将字节码指令解释/编译为对应平台的本地机器指令，简单来说JVM的执行引擎充当了高级语言翻译为机器语言的译者。
爬虫时报错 yield self.engine.open_spider(self.spider, start_requests)pika.exceptions.AMQPConnectionError
weixin_43751415的博客
08-15 1299
一般报错多在配置文件的，解决起来很复杂，优先考虑代码是否有问题。然后，telnet 报错信息提到的端口，试过之后端口打不开，可能四官网有限制，所以我在pipelines.py文件里注释掉报错信息提到的connection属性的相关代码。然后发现，代码在用到selenium的wait_time时class必须填写页面存在的，所以返回要爬取的页面检查，换了已存在的class。一开始我以为是pika版本问题，所以从1.3系列降到1.1系列，但还是一样的报错。爬虫可以正常运行了，接下来就是完善和修改具体的需求。
yield self.engine.open_spider(self.spider, start_requests) builtins.TypeError: name must be an insta...
weixin_35756130的博客
01-12 348
这个错误消息表明在yield语句中, self.engine.open_spider(self.spider, start_requests)中的self.spider变量必须是一个字符串类型的实例, 而不是其他类型。
scrapy+mongoDB小问题
samll__Q的备忘录
04-22 895
遇到错误 Traceback (most recent call last): File "e:\python\lib\site-packages\twisted\internet\defer.py", line 1386, in _inlineCallbacks result = g.send(result) File "e:\python\lib\site-package...
Scrapy-redis 源码分析 及 框架使用
墨鱼菜鸡
07-11 819
From：https://blog.youkuaiyun.com/weixin_37947156/article/details/75044971 From：https://cuiqingcai.com/6058.html Scrapy-redis github：https://github.com/rmax/scrapy-redis scrapy-redis分布...
scrapy源码分析（十）------------Scraper
happyAnger6的专栏
12-10 4274
上一节分析了Scheduler的源码，这一节分析ExecutionEngine的另外一个关键对象Scraper. Scraper的主要作用是对网络蜘蛛中间件进行管理，通过中间件完成请求，响应，数据分析等工作。 先从构造函数分析起： scrapy/core/scraper.py: class Scraper(object): def __init__(self, c
大数据-爬虫框架学习--scrapy
wangli的博客
04-17 4889
一、scrapy是什么             Scrapy是Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。 Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据
第 12 章 执行引擎
Oneby的博客
09-04 1339
第 12 章 执行引擎 1、执行引擎概述 执行引擎位置 执行引擎属于JVM的下层，里面包括：解释器、即时编译器、垃圾回收器 1.1、执行引擎概述 执行引擎概述 执行引擎是Java虚拟机核心的组成部分之一。“虚拟机”是一个相对于“物理机”的概念，这两种机器都有代码执行能力，其区别是物理机的执行引擎是直接建立在处理器、缓存、指令集和操作系统层面上的，而虚拟机的执行引擎则是由软件自行实现的，因此可以不受物理条件制约地定制指令集与执行引擎的结构体系，能够执行那些不被硬件直接支持的指令集格式。 JV
Scrapy源码解读
Focus on Lakehouse
02-11 944
Scrapy一个比较完整的爬虫框架，包含了爬取任务的调度、多个线程同时爬取（异步多线程，不用等一个请求完成后才开始另一个请求）、自动过滤重复的链接等功能。使用者通过定义比较简单的爬虫类（例如目标网址、爬取的具体页面元素、存储的格式字段、数据清理逻辑），剩余的就可以交给scrapy完成爬取工作。TwistedTwisted 是一个事件驱动的网络引擎。Twisted 是用于生成可扩展的跨平台网络服务器...
科普文：一文搞懂jvm原理(三)执行引擎
为无为，事无事，味无味。
07-01 1411
前面我们介绍了jvm，jvm主要包括两个子系统和两个组件： Class loader(类装载器) 子系统，Execution engine(执行引擎) 子系统；Runtime data area (运行时数据区域)组件， Native interface(本地接口)组件。这里我们主要讲解Execution engine(执行引擎)，讲到这个就和jvm优化相关。图一：jvm的运行时区、执行引擎、本地方法接口和库图二：这个是前面文中多次出现的jvm详细图，
尚硅谷JVM从入门到精通宋红康版|第十二章、执行引擎
weixin_45759791的博客
07-13 748
执行引擎 执行引擎概述 执行引擎属于JVM的下层，里面包括 解释器、及时编译器、垃圾回收器 执行引擎是Java虚拟机核心的组成部分之一。“虚拟机”是一个相对于“物理机”的概念，这两种机器都有代码执行能力，其区别是物理机的执行引擎是直接建立在处理器、缓存、指令集和操作系统层面上的，而虚拟机的执行引擎则是由软件自行实现的，因此可以不受物理条件制约地定制指令集与执行引擎的结构体系，能够执行那些不被硬件直接支持的指令集格式。 JVM的主要任务是负责装载字节码 到其内部，但字节码并不能够直接运行在操作系统之上，因为
JVM篇-执行引擎（Execution Engine）
shuyoujing的博客
08-02 1080
执行引擎概述 执行引擎是Java虚拟机核心的组成的部分之一 虚拟机的执行引擎是有软件自行实现的，不受物理条件制约的定制指令集与执行引擎结构体系，能执行不被硬件支持的指令集格式。 JVM主要任务是装在字节码到其内部 执行引擎的主要任务就是：将字节码指令解释/编译（后端编译。生成字节码的编译成为前端编译）为本地机器指令 JVM中的执行引擎重放了将高级语言翻译为机器语言的翻译者 Java代码编译和执行过程 大部分的程序代码转换为物理机的目标代码或者虚拟机能执行的指令集之前，都需要执行上述步骤。 什么
深入解读 Scrapy 框架原理与源码
最新发布
switch616的博客
08-06 2422
以上内容详细解读了 Scrapy 框架的运行原理、底层源码、中间件和自定义功能，涵盖了从请求生成、响应处理到数据存储的完整流程。
scrapy源码1：engine的源码分析
热门推荐
数据知道的博客
06-30 4万+
scrapy中engine.py的源码分析如下： """ engine.py提供了2个类：Slot和ExecutionEngine Slot: 提供了几个方法添加请求，删除请求，关闭自己，触发关闭方法 它使用Twisted的主循环reactor来不断的调度执行Engine的"_next_request"方法，这个方法也是核心循环方法。 ExecutionEngine: 引擎的执行任务 爬虫引擎是控制调度器，下载器和爬虫的。 This is the Scrapy eng
scrapy学习笔记（二）框架结构工作原理
weixin_30663471的博客
07-03 346
scrapy结构图： scrapy组件： ENGINE：引擎，框架的核心，其它所有组件在其控制下协同工作。 SCHEDULER：调度器，负责对SPIDER提交的下载请求进行调度。 DOWNLOADER：下载器，负责下载页面（发送HTTP请求/接收HTTP响应）。 SPIDER：爬虫，负责提取页面中的数据，并产生对新页面的下载请求。 MIDDLEWARE：中间件，负责对Reque...
Scrapy : Stats Collection, Sending e-mail
AI路漫漫
07-21 998
Scrapy : Stats Collection, Sending e-mail
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

self-motivation

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值