Scrapy源码分析（番外）：queuelib优先队列

最新推荐文章于 2024-08-29 07:58:14 发布

joker1993

最新推荐文章于 2024-08-29 07:58:14 发布

阅读量690

点赞数

分类专栏：爬虫

本文链接：https://blog.youkuaiyun.com/u011423145/article/details/103235874

版权

本文详细解析了Scrapy调度器中queuelib的PriorityQueue实现。PriorityQueue使用hash表存储不同优先级的队列，通过指针self.curprio指向最高优先级。push方法将对象按优先级存入队列，pull方法根据优先级出队。PriorityQueue利用队列工厂类和不同存储介质的队列，实现高度解耦和灵活的恢复、保存机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

在Scrapy的调度器中的类变量里，有一个叫做pqclass的，是库queuelib中优先队列的一个类名，今天我们来分析下它的原理。

代码思想

queuelib是从Scrapy中分离出来的一个库，今天我们主要看其中的类PriorityQueue:

class PriorityQueue(object):
    """
        PriorityQueue的实现是由一个hash表组成，k是队列等级，v是队列，同时维护一个指针，指向最高的队列等级。
        在这里数值越小，代表优先级越大。
        * push(obj)入队列
        * pop()出队列
        * close()关闭
        * __len__()

    """

    def __init__(self, qfactory, startprios=()):

    def push(self, obj, priority=0):
      
    def pop(self):
     
    def close(self):
 
    def __len__(self):

PriorityQueue一共有四个方法，以及一个len的内部方法。

PriorityQueue的实现思想是用hash表存储不同优先级的队列：优先级的数值作为key，数字越小，优先级别越高；队列作为value，也就是说每个value的队列中每个值优先级是一样的。

那么用hash表这样存储不同优先级的队列，那么如何保证出队列时