scrapy框架中Spider源码解析

Scrapy源码分析-所有爬虫的基类-Spider(二) Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说,Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。 阅读详情

scrapy框架中Spider源码解析

一、scrapy架构

在讲解spider类之前,我们先来了解下scrapy这个框架的整体架构
请看下面scrapy工作流程图
在这里插入图片描述

1.scrapy引擎(Scrapy Engine)

引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。

2.调度器(Scheduler)

调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎

3.下载器(Downloader)

下载器负责获取页面数据并提供给引擎,而后提供给spider。

4.蜘蛛(Spiders)

Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。

5.管道(Item Pipeline)

Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)

6.下载器中间件(Downloader Middlewares)

下载器中间件是在引擎及下载器之间的特定钩子(specific hook),处理Downloader传递给引擎的response(也包括引擎传递给下载器的Request)。 其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能。

7.spider中间件(Spider Middlewares)

Spider中间件是在引擎及Spider之间的特定钩子(specific hook),处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能。

scrapy架构工作流程(数据流向)

Scrapy中的数据流由执行引擎控制,其过程如下:

1.引擎打开一个网站(open a domain),找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。
2. 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
3. 引擎向调度器请求下一个要爬取的URL。
4. 调度器返回下一个要爬取的URL给引擎,引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
5. 一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件(返回(response)方向)发送给引擎。
6. 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
7. Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
8. 引擎将(Spider返回的)爬取到的Item给Item Pipeline,将(Spider返回的)Request给调度器。
(从第二步)重复直到调度器中没有更多地request,引擎关闭该网站。

二、spider源码解析

Spider是最基本的类,所有爬虫必须继承这个类。
Spider类主要用到的函数及调用顺序为:
(1)init()方法: 初始化爬虫名字和start_urls列表。

注:这里爬虫名称是必须的,而且必须是唯一的
def __init__(self, name=None, **kwargs):
        if name is not None:
            self.name = name
        elif not g`在这里插入代码片`etattr(self, 'name', None):
            raise ValueError("%s must have a name" % type(self).__name__)
        self.__dict__.update(kwargs)
        if not hasattr(self, 'start_urls'):
            self.start_urls = []

(2)start_requests()方法:spider发起请求时会调用make_requests_from_url()生成Requests对象交给Scrapy下载并返回Response对象交给解析函数处理。

注:start_requests()方法只调用一次
def start_requests(self):
        cls = self.__class__
        if method_is_overridden(cls, Spider, 'make_requests_from_url'):
            warnings.warn(
                "Spider.make_requests_from_url method is deprecated; it "
                "won't be called in future Scrapy releases. Please "
                "override Spider.start_requests method instead (see %s.%s)." % (
                    cls.__module__, cls.__name__
                ),
            )
            for url in self.start_urls:
                yield self.make_requests_from_url(url)
        else:
            for url in self.start_urls:
                yield Request(url, dont_filter=True)
 
    def make_requests_from_url(self, url):
        """ This method is deprecated. """
        return Request(url, dont_filter=True)

(3)parse()方法:解析下载器返回的response,并返回Item或Requests(需指定回调函数)。Item传给Item pipline进行数据的持久化存储,Requests交由Scrapy下载,并由指定的回调函数处理,一直进行循环,直到处理完所有的数据为止。

重点:这个内容需要我们自己去写。parse()是默认的Request对象回调函数,解析返回的response对象, 注意回调函数的写法,是函数地址(callback=parse或者callback=None)。
    def parse(self, response):
        raise NotImplementedError

三、spider全部源码展示及详情解析

"""
Base class for Scrapy spiders
See documentation in docs/topics/spiders.rst
"""
import logging
import warnings
 
from scrapy import signals
from scrapy.http import Request
from scrapy.utils.trackref import object_ref
from scrapy.utils.url import url_is_from_spider
from scrapy.utils.deprecate import create_deprecated_class
from scrapy.exceptions import ScrapyDeprecationWarning
from scrapy.utils.deprecate import method_is_overridden
 
#所有爬虫的基类,用户定义的爬虫必须从这个类继承
class Spider(object_ref):
    """Base class for scrapy spiders. All spiders must inherit from this
    class.
    """
 
    #1、定义spider名字的字符串。spider的名字定义了Scrapy如何定位(并初始化)spider,所以其必须是唯一的。
    #2、name是spider最重要的属性,而且是必须的。一般做法是以该网站的域名来命名spider。例如我们在爬取豆瓣读书爬虫时使用‘name = "douban_book_spider"’  
    name = None
    custom_settings = None
 
    #初始化爬虫名字和start_urls列表。上面已经提到。
    def __init__(self, name=None, **kwargs):
        #初始化爬虫名字
        if name is not None:
            self.name = name
        elif not getattr(self, 'name', None):
            raise ValueError("%s must have a name" % type(self).__name__)
        self.__dict__.update(kwargs)
 
        #初始化start_urls列表,当没有指定的URL时,spider将从该列表中开始进行爬取。 因此,第一个被获取到的页面的URL将是该列表之一,后续的URL将会从获取到的数据中提取。  
        if not hasattr(self, 'start_urls'):
            self.start_urls = []
 
    @property
    def logger(self):
        logger = logging.getLogger(self.name)
        return logging.LoggerAdapter(logger, {'spider': self})
 
    def log(self, message, level=logging.DEBUG, **kw):
        """Log the given message at the given log level
        This helper wraps a log call to the logger within the spider, but you
        can use it directly (e.g. Spider.logger.info('msg')) or use any other
        Python logger too.
        """
        self.logger.log(level, message, **kw)
 
    @classmethod
    def from_crawler(cls, crawler, *args, **kwargs):
        spider = cls(*args, **kwargs)
        spider._set_crawler(crawler)
        return spider
 
    def set_crawler(self, crawler):
        warnings.warn("set_crawler is deprecated, instantiate and bound the "
                      "spider to this crawler with from_crawler method "
                      "instead.",
                      category=ScrapyDeprecationWarning, stacklevel=2)
        assert not hasattr(self, 'crawler'), "Spider already bounded to a " \
                                             "crawler"
        self._set_crawler(crawler)
 
    def _set_crawler(self, crawler):
        self.crawler = crawler
        self.settings = crawler.settings
        crawler.signals.connect(self.close, signals.spider_closed)
 
    #该方法将读取start_urls列表内的地址,为每一个地址生成一个Request对象,并返回这些对象的迭代器。
    #注意:该方法只会调用一次。
    def start_requests(self):
        cls = self.__class__
        if method_is_overridden(cls, Spider, 'make_requests_from_url'):
            warnings.warn(
                "Spider.make_requests_from_url method is deprecated; it "
                "won't be called in future Scrapy releases. Please "
                "override Spider.start_requests method instead (see %s.%s)." % (
                    cls.__module__, cls.__name__
                ),
            )
            for url in self.start_urls:
                yield self.make_requests_from_url(url)
        else:
            for url in self.start_urls:
                yield Request(url, dont_filter=True)
 
    #1、start_requests()中调用,实际生成Request的函数。
    #2、Request对象默认的回调函数为parse(),提交的方式为get。
    def make_requests_from_url(self, url):
        """ This method is deprecated. """
        return Request(url, dont_filter=True)
 
    #默认的Request对象回调函数,处理返回的response。  
    #生成Item或者Request对象。这个类需要我们自己去实现。
    def parse(self, response):
        raise NotImplementedError
 
    @classmethod
    def update_settings(cls, settings):
        settings.setdict(cls.custom_settings or {}, priority='spider')
 
    @classmethod
    def handles_request(cls, request):
        return url_is_from_spider(request.url, cls)
 
    @staticmethod
    def close(spider, reason):
        closed = getattr(spider, 'closed', None)
        if callable(closed):
            return closed(reason)
 
    def __str__(self):
        return "<%s %r at 0x%0x>" % (type(self).__name__, self.name, id(self))
 
    __repr__ = __str__
 
 
BaseSpider = create_deprecated_class('BaseSpider', Spider)
 
 
class ObsoleteClass(object):
    def __init__(self, message):
        self.message = message
 
    def __getattr__(self, name):
        raise AttributeError(self.message)
 
spiders = ObsoleteClass(
    '"from scrapy.spider import spiders" no longer works - use '
    '"from scrapy.spiderloader import SpiderLoader" and instantiate '
    'it with your project settings"'
)
 
# Top-level imports
from scrapy.spiders.crawl import CrawlSpider, Rule
from scrapy.spiders.feed import XMLFeedSpider, CSVFeedSpider
from scrapy.spiders.sitemap import SitemapSpider
 
作者:小怪聊职场
链接:https://www.jianshu.com/p/d492adf17312
來源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

注:某些内容参考自csdn部分大佬博客

Scrapy原理源码解读以及实战 一.Scrapy框架原理 下面是scrapy框架运行的整体原理图 其中引擎是框架的整体的核心,负责与各个组件之间通信,下面介绍一下各个组件的具体功能 引擎(Scrapy Engine) 引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。 调度器(Scheduler) 调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎,而后提供给spider。 Spiders Spider是Scrapy用户编 阅读详情

相关推荐

分布式爬虫Scrapy-redis框架源码解析

文章目录一、scrapy-redis架构原理Scrapy-redis提供了下面四种组件(components):1. Scheduler(调度器):2. Duplication Filter(过滤工具):3. Item Pipeline(管道):4. Base Spider:二、源码解析1.connection.py2.defaults.py3. dupefilter.py4. pickleco...

梓栋DREM 3461

使用Scrapy的基础步骤(内含代码+详解)

麻烦先学会安装Scrapy不会请百度或留言 以爬取笔趣阁小说列表为例 创建一个scrapy项目 scrapy startproject test1 创建该项目下的一个spider爬虫 #注意你要进入项目目录才能创建爬虫 #scrapy genspider 爬虫名 爬虫爬取的网站域名 scrapy genspider testspider www.xbiquge.la 编辑spid...

A_彬的博客 625

爬虫-Scrapy框架-面试救急知识

【四大组件 - Pipeline】 问题:Pipeline的open_spider和close_spider方法作用是什么?答案:项目名/、spiders/、items.py、pipelines.py、middlewares.py、settings.py。答案:item = MyItem();【四大组件 - Spider】 问题:Spider中yield dict和yield Item的区别?答案:单个用.get()或.extract_first(),多个用.getall()或.extract()。

weixin_70276309的博客 240

scrapy原码解读---Spider

一、spider的作用和功能 根据url生成Request并指定回调方法处理Response。第一个Request是通过start_requests()产生的; 在回调方法中,解析页面的Response,返回Item实例或者Request实例,或者这两种实例的可迭代对象; 在回调方法中,通常使用Selectors(也可以使用BeautifulSoup,lxml等)来提取数据...

大发的博客 606

爬虫日记(30):理解Spider Middleware中间件

前面学习了很多下载的中间件,并且也非常管用,可以随机地更换UA,更换代理,使用浏览器下载数据等等,这样可以向反爬的网站进行获得数据,又或者向JS渲染网页进行数据获取。这些中间件是非常管用的,也是开发爬虫的基本手段。接着下来需要理解一下蜘蛛类与引擎之间的中间件--Spider Middleware,也叫spider 中间件。 在框架图里处于如下位置: 从上图可见, spider中间件主要处理第1步请求的内容,也可以处理第6步的回应内容,还可以处理第7步产出的Item对象等等。 Engine从Down

大坡3D软件开发 551

完整版Python Scrapy爬虫框架实战教程含源码18页

Scrapy的强大,不在于它有多少功能,而在于它的。

weixin_35835018的博客 950

python-scrapy框架(一)Spider文件夹的用法讲解

导入必要的库# 定义Spider类# 定义Spider的名字# 定义起始URL# 解析Response数据的方法# 在这里写解析代码pass在这个示例中,我们创建了一个名为的Spider类,并将其name属性设置为"example"。start_urls属性包含了Spider开始爬取的URL列表。parse方法用于解析Response对象,可以在其中编写解析代码。name: Spider的名字,必须是唯一的。start_urls: Spider开始爬取的URL列表。

naer_chongya的博客 2468

spider

spider

Java学习实例:注解

什么是注解(Annotation),注解是放在Java源码的类、方法、字段、参数前的一种特殊注释,比如我们常常使用的Spring Boot框架,经常会用到@NotNull, @NotEmpty, @NotBlank, 这些都是系统框架写好的注解, 接下来要做的是实现自己的注解 添加依赖 <dependency> <groupId>javax.validation</groupId> <artifactId>validation-api&l

厚积薄发 500

spider网络爬虫源代码

这是一个spider网络爬虫源代码,用c++完成的,主要是为搜索引擎研究者提供很好的材料,为初学者提供代码。大家可以互相学习学习。

[CARLA系列--01]CARLA 0.9.15 在Windows下的安装教程(一)

Carla是一款开源的自动驾驶仿真器,它基本可以用来帮助训练自动驾驶的所有模块,包括感知系统,Localization, 规划系统等等.Carla这个产品目前已经更新到了最新的0.9.15版本,目前遇到好多人在windows系统上如何安装可编辑版的Carla遇到了好多问题,所以针对在windows上的安装,推出此列教程.

汽车ECU自动化测试 4653

【Scrapy源码阅读】Spider参数传递

官方文档Spider参数中提到,可以使用scrapy crawl命令的-a选项向Spider传递参数: scrapy crawl myspider -a arg1=value1 -a arg2=value2 这些参数会被传递到自定义的MySpider类的构造函数,并且超类的构造函数会将其拷贝到属性中: import scrapy class MySpider(scrapy.Spider): name = 'myspider' def __init__(self, *args, **kwa

zzy979481894的博客 748

告别手动!用Python+CATIA V5/V6自动生成三视图和标题栏(附完整代码)

本文详细介绍了如何利用Python和CATIA V5/V6实现工程图自动生成,包括三视图布局和标题栏填写。通过COM接口调用和智能算法,系统能自适应不同尺寸模型,大幅提升设计效率。附完整代码和部署方案,帮助团队实现从手动到自动化的转变。

weixin_42699679的博客 355

Scrapy的spider(蜘蛛)基类源码

Scrapy的spider(蜘蛛)基类源码 一旦spider的子类被实例化,__ init __ 中的代码就会被执行,所以需要设定name和 star_url 两个属性。然而Spider 的子类被实例化后并不会马上被执行爬网,只有在 start_requests 被调用时,蜘蛛才会执行爬网。 如果想修改最初爬取某个网站的 REquests 对象,则可以重写(override)start_reque...

wall_zf的博客 777

FDTD Script命令学习-farfield3d/farfieldux/farfielduy

介绍了farfield3d/farfieldux/farfielduy命令功能,及不同应用语法和参数介绍,以及对官网示例进行介绍。

jxxl_1314的博客 3100

UniTouch:多模态触觉对齐技术如何重塑零样本跨模态应用

UniTouch模型通过创新的多模态触觉对齐技术,成功将触觉数据映射到通用的视觉-语言嵌入空间,解决了触觉模态的“孤岛困境”。该技术利用对比学习和传感器特定标记,实现了高质量的零样本学习能力,使模型无需额外训练即可完成触觉分类、描述等任务,并能驱动跨模态生成,为机器人、VR和智能制造等领域提供了强大的触觉理解新范式。

weixin_29044713的博客 409

scrapy框架通用爬虫、深度爬虫、分布式爬虫、分布式深度爬虫,源码解析及应用

scrapy框架是爬虫界最为强大的框架,没有之一,它的强大在于它的高可扩展性和低耦合,使使用者能够轻松的实现更改和补充。 其中内置三种爬虫主程序模板,scrapy.Spider、RedisSpider、CrawlSpider、RedisCrawlSpider(深度分布式爬虫)分别为别为一般爬虫、分布式爬虫、深度爬虫提供内部逻辑;下面将从源码和应用来学习, scrapy.Spider 源码: ...

python之战 525

实战拆解:RAG vs Agent在金融风控中的性能对比

2024年上半年我帮某华东地区城商行做零售交易反欺诈系统升级时,技术团队曾发生过一次激烈争论:一派认为应该优先上RAG(检索增强生成)方案,成本低、落地快、合规性好;另一派坚持要上Agent(智能体)方案,推理能力强、能应对复杂新型欺诈。最终我们做了完整的AB测试,结论是两者没有绝对的优劣,只有场景适配的差异:RAG适合高并发、低时延的实时风控场景,Agent适合低并发、高准确率要求的事后核查/大额审批场景,两者结合的 hybrid 方案能覆盖95%以上的风控需求。本文我会结合真实项目的测试数据,从核心概念

AI天才研究院 252

CrawlSpider源码分析

CrawlSpider是对Spider做了进一步的封装,使得该类可以直接爬取一个网站.也就是说CrawlSpider是为了爬取整个网站设计的 CrawlSpider和Spider一样,入口都是start_request,如果想要模拟登陆,可以重载这个函数,然后callback自己定义的登陆函数, 关于模拟登陆可以参考之前写的模拟登陆知乎 CrawlSpider不同于Sp...

weixin_30648963的博客 134

基于TF-IDF+KMeans聚类算法构建中文文本分类模型(附案例实战)

TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。简单来说就是:一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章。这也就是TF-IDF的含义。

m0_64336780的博客 1万+

YOLO-V8训练自己的数据集之标注样本

四、标注样本 4.1、标注样本概述 4.1.1、样本标注主要方法 4.1.2、标注样本概念 4.1.3、标注样本实现方式 4.1.4、常见标注样本软件 4.2、标注工具LabelImg 4.2.1、LabelImg介绍 4.2.2、LabelImg特点 4.2.3、LabelImg安装方法 4.2.4、LabelImg使用方法 4.3、标注样本实操 4.3.1、安装标注软件Labelimg 4.3.2、Labelimg界面介绍 4.3.3、LabelImg实操过程中常

qq_29633789的博客 666

scrapy 爬取酷狗热门歌手音乐

目录声明Hello,酷狗!创建一个Scrapy项目spider模块分析前端界面注意items模块pipeline模块处理音频文件自定义下载路径自定义下载图片路径异步存入到数据库settings.py调试运行源码 声明 文章仅供学习交流使用,切勿他用。如有侵权,请联系本人处理。 scrapy之前了解过,但是过一段时间又忘记,于是打算爬一个网站,顺便记录下,以便后续能够快速回忆。以下是自己的一些理解,如果有不对的地方,还请各位看官指教。本来想爬取echo音乐的(喜欢而已),但是好像echo音乐挂了有一段时.

gman344的博客 430

路径规划 | 图解A*、Dijkstra、GBFS算法的异同(附C++/Python/Matlab仿真)

图解A*、Dijkstra、GBFS算法原理,分析三种算法异同,提供C++/Python/Matlab仿真实现

FRIGIDWINTER的博客 2万+

python网络爬虫(第十一章:Scrapy框架实战:爬取网页新闻标题和内容)

综合练习:爬取网易新闻标题和内容 1.spider.py【完成数据的爬取解析】 import scrapy from selenium import webdriver from wangyiPro.items import WangyiproItem class WangyiSpider(scrapy.Spider): name = 'wangyi' # allowed_domains = ['www.xxx.com'] start_urls = ['https://news.1

qq_38633279的博客 2264

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

scrapy系列(三)——基础spider源码解析

前面两章介绍了scrapy的安装和项目的新建,那么这一章就讲讲spider吧。 scrapy有个命令是runspider, 这个命令的作用就是将一个spider当做一个python文件去执行,而不用创建一个完整的项目。可以说是最简单的一个爬虫项目了,只有一个文件,这也体现出了spider对于scrapy的重要性,item和pipline可有可无,settings等也可以使用默认的,可是...

diaosiye0158的博客 283

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

web爬虫讲解—Scrapy框架爬虫—Scrapy安装—Scrapy指令

Scrapy框架安装 1、首先,终端执行命令升级pip: python -m pip install --upgrade pip2、安装,wheel(建议网络安装) pip install wheel3、安装,lxml(建议下载安装)4、安装,Twisted(建议下载安装)5、安装,Scrapy(建议网络安装) pip install Scrapy 测试Scrapy是否安装成功 Scrapy框架...

194
下一篇: scrapy框架中Crawlspider模块源码剖析
tony哒...
博客等级 码龄8年 18粉丝 6原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值