scrapy.Spider中close方法的作用

最新推荐文章于 2024-05-14 07:00:00 发布

辉辉咯

最新推荐文章于 2024-05-14 07:00:00 发布

阅读量8.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： scrapy框架

本文链接：https://blog.youkuaiyun.com/qq_41020281/article/details/82846975

scrapy框架专栏收录该内容

13 篇文章

订阅专栏

本文详细解析了Scrapy爬虫框架的基本结构和核心组件，包括爬虫类的定义、初始化过程、设置覆盖以及爬虫关闭时的操作。了解这些基础知识对于掌握Scrapy爬虫的开发至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在scrapy中，需要实现的爬虫类都需要继承scrapy.Spider类，其中的源码解析：

class Spider(object_ref):
    name = None #爬虫的名字，spider的名字定义了Scrapy如何定位(并初始化)spider
    custom_settings = None #当启动spider时,该设置将会覆盖项目级的相同设置.

    def __init__(self, name=None, **kwargs):
        # 如果爬虫没有名字，中断后续操作则报错
        if name is not None:
            self.name = name
        elif not getattr(self, 'name', None):
            raise ValueError("%s must have a name" % type(self).__name__)
        self.__dict__.update(kwargs)
        if not hasattr(self, 'start_urls'):
            # python对象或类型通过内置成员__dict__来存储对象的属性和方法等信息
            self.start_urls = []

# 是Scrapy用来创建爬虫的类方法。
@classmethod
 def from_crawler(cls, crawler, *args, **kwargs):
    spider = cls(*args, **kwargs)
    spider._set_crawler(crawler)
    return spider

参数：
crawler（Crawlerinstance） - 爬虫将绑定到的爬虫
args（list） - 传递给init()方法的参数
kwargs（dict） - 传递给init()方法的关键字参数

# 静态方法，当spider关闭时，该函数被调用。
@staticmethod
def close(spider, reason):
    closed = getattr(spider, 'closed', None)
    if callable(closed):
        return closed(reason)

从close的源码看出，如果需要在爬虫结束的时候进行一些操作，那么就可以通过改写该方法，或者在编写的爬虫类中实现closed方法即可。

欢迎关注公众号：日常bug，每天写至少一篇技术文章，每天进步一点点。