Scrapy-Redis手动添加添加去重url(指纹)

最新推荐文章于 2024-08-12 16:22:34 发布

原创最新推荐文章于 2024-08-12 16:22:34 发布 · 897 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#scrapy #scrapy-redis #scrapy去重 #scrapy-redis去重 #scrapy指纹

scrapy 专栏收录该内容

1 篇文章

订阅专栏

本文围绕Scrapy-Redis展开，当遇到不希望排队的数据，需与队列用同一Redis去重时，作者研究Scrapy和Scrapy-Redis源码，介绍了dupefilter.py、request.py、request_fingerprint.py文件相关内容，包括request_seen()方法、获取指纹方法等，最后实现手动添加去重指纹。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Scrapy-Redis是根据队列调度请求，新添加的排在后面。当队列的长度排了很长的队，但是有一种数据我不希望它排队，我希望它直接请求，但是需要跟队列用同一Redis去重。
然后研究了一下Scrapy和Scrapy-Redis源码，实现手动添加指纹功能。

dupefilter.py

打开scrapy_redis.dupefilter.py文件，找到request_seen()方法

在这里我们注意到同样实现了一个 request_seen() 方法，和 Scrapy 中的 request_seen() 方法实现极其类似，不过在这里集合使用的是 server对象的 sadd()操作，也就是集合不再是简单的一个简单数据结构了，在这里直接换成了数据库的存储方式。

从上图request_seen()方法中注意到request_fingerprint()方法，request_fingerprint()是获取指纹，这里Scrapy-Redis是直接用的Scrapy的方法。文件路径scrapy.utils.request.py

从源码可以看到指纹是通过sha1加密，需要request.method，request.url，request.body必要的参数。然后返回指纹。

request_fingerprint.py

知道了指纹添加的原理，接下来开始写代码,手动添加添加去重指纹。新建request_fingerprint.py文件

# coding=utf-8
#!/usr/bin python
'''

Author: lifenggang
        ZsLfg
Python3 环境
Email: 15116211002@163.com
'''
import redis
from scrapy.utils.request import request_fingerprint


class Request_Fingerprint(object):
    def __init__(self, url):
        self.method = 'GET'     # 如果是post请求，请修改成POST
        self.url = url
        self.body = b''

class Redis_Fingerprint(object):
    def __init__(self):
        self.key = 'top_bilibili_spider:dupefilter'  # 此处修改成对应的数据库
        self.server = redis.Redis(host='192.168.0.157', port=6379, db=0, password=None)

    def sadd(self, fp):
        added = self.server.sadd(self.key, fp)  # 这将返回添加的值的数量，如果已经存在，则返回零。
        return added

def run(url):
    '''
    手动添加url指纹，存在返回True，不存在返回False
    :param url: 传入需要去重的url
    :return: 存在返回True，不存在返回False
    '''
    re = Request_Fingerprint(url=url)
    fp = request_fingerprint(re)
    rf = Redis_Fingerprint()
    added = rf.sadd(fp)   # 存在返回True，不存在返回False

    return added == 0

if __name__ == '__main__':
    run('https://api.bilibili.com/x/space/acc/info?mid=466272&jsonp=jsonp')