Scrapy中扩展(Extension)的定义

最新推荐文章于 2025-04-05 22:08:24 发布

Top_zhangxu

最新推荐文章于 2025-04-05 22:08:24 发布

阅读量2k

点赞数

分类专栏：爬虫文章标签： scrapy-爬虫

本文链接：https://blog.youkuaiyun.com/Top_zhangxu/article/details/79864824

版权

本文介绍了Scrapy扩展的定义和工作原理，通过Crawler对象管理Spider并注册信号处理方法。当Spider开启和关闭时，扩展会接收到相应信号并执行绑定的方法，例如执行定时任务来检查Spider的状态。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先看一个例子

class MyCustomStatsExtension(object):
    """
    这个extension专门用来定期搜集一次stats
    """
    def __init__(self, stats):
        self.stats = stats
        self.time = 60.0

    @classmethod
    def from_crawler(cls, crawler, *args, **kwargs):
        instance = cls(crawler.stats)
        crawler.signals.connect(instance.spider_opened, signal=signals.spider_opened)