爬虫笔记day11

废材终结者

于 2021-12-12 12:51:13 发布

阅读量1.1k

点赞数 1

分类专栏：爬虫文章标签：爬虫 redis python

本文链接：https://blog.youkuaiyun.com/hssf_xxy/article/details/121885724

版权

本文介绍了如何利用Redis实现增量爬虫，通过Redis的集合特性进行请求指纹的自动去重，提高爬虫效率。详细讲述了Redis的下载安装，并提供了利用sadd()方法判断请求是否已抓取的代码实现及运行结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

增量爬虫Redis

redis下载安装：https://blog.youkuaiyun.com/hssf_xxy/article/details/121884591

知识点补充：redis连接

import redis
r=redis.Redis(host='localhost',port=6379,db=数据库)
r.sadd('url:表','需要插入的数据')

原理：
1、redis 基于内存，效率高
2、利用redis中集合的特性，自动去重，可以轻松管理所有请求的指纹

实现思路：
1、利用集合的sadd()方法向集合中添加指纹，根据返回值来判断集合中是否存在改指纹
2、添加成功返回1，表示此请求之前并未抓取过
3、添加失败返回0，表示此请求之前已经抓取过

实现代码：

import  urllib.request
import  re
import time
import random
import  redis
from hashlib import md5
import sys

class CarSpider:
    def __init__(self):
        self.url="https://www.che168.com/beijing/a0_0msdgscncgpi1lto1csp{}exx0/"
        self.headers = {
   'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .N