Scrapy利用Redis实现消重存入MySQL（增量爬取）

Scrapy增量爬虫实战

最新推荐文章于 2025-04-24 16:39:04 发布

原创最新推荐文章于 2025-04-24 16:39:04 发布 · 255 阅读

2 ·

CC 4.0 BY-SA版权

官方去重：

scrapy官方文档的去重模块，只能实现对当前抓取数据的去重，并不会和数据库里的数据做对比。也就是说如果你抓了100条数据，里面有10条重复了，它会丢掉这10条，但100条里有20条和数据库的数据重复了，它也不管，照样存进去。

Python

class DuplicatesPipeline(object): def __init__(self): self.url_seen = set() def process_item(self, item, spider): if item['art_url'] in self.url_seen: #这里替换成你的item['#'] raise DropItem("Duplicate item found: %s" % item) else: self.url_seen.add(item['art_url']) #这里替换成你的item['#'] return item

class DuplicatesPipeline ( object ) :

def __init__ ( self ) :

self . url_seen = set ( )

def process_item ( self , item , spider ) :

if item [ 'art_url' ] in self . url_seen : #这里替换成你的item['#']

raise DropItem ( "Duplicate item found: %s" % item )

else :

self . url_seen . add ( item [ 'art_url' ] ) #这里替换成你的item['#']

return item

增量入库：

官方的去重比较简单，只要换成自己的item['#'],然后在settings里启用DuplicatesPipeline就可以了。

而我的需求要对一个网站长期爬取，所以要不断对比之前的抓取的内容，只需要存入新增的数据即可，网上搜了一下，scrapy做增量爬取的资料并不多，有人列出四种方法，相对理想的方法是使用redis来解决。找到一篇使用redis去重的教程，和自己的需求很像，但之前没用过redis，摸索了半天，终于搞明白了。下面是自己的使用心得，写在注释里了，供大家参考：

Python

import mysql.connector import pandas as pd #用来读MySQL import <span class="wp_keywordlink_affiliate"><a href="https://www.168seo.cn/tag/redis" title="View all posts in redis" target="_blank">redis</a></span> redis_db = redis.Redis(host='127.0.0.1', port=6379, db=4) #连接redis，相当于MySQL的conn redis_data_dict = "f_url" #key的名字，写什么都可以，这里的key相当于字典名称，而不是key值。 class DuplicatesPipeline(object): conn = mysql.connector.connect(user = 'root', password='yourpassword', database='dbname', charset='utf8') def __init__(self): redis_db.flushdb() #删除全部key，保证key为0，不然多次运行时候hlen不等于0，刚开始这里调试的时候经常出错。 if redis_db.hlen(redis_data_dict) == 0: # sql = "SELECT url FROM your_table_name;" #从你的MySQL里提数据，我这里取url来去重。 df = pd.read_sql(sql, self.conn) #读MySQL数据 for url in df['url'].get_values(): #把每一条的值写入key的字段里 redis_db.hset(redis_data_dict, url, 0) #把key字段的值都设为0，你要设成什么都可以，因为后面对比的是字段，而不是值。 def process_item(self, item, spider): if redis_db.hexists(redis_data_dict, item['url']): #取item里的url和key里的字段对比，看是否存在，存在就丢掉这个item。不存在返回item给后面的函数处理 raise DropItem("Duplicate item found: %s" % item) return item

import mysql . connector

import pandas as pd #用来读MySQL

import redis

redis_db = redis . Redis ( host = '127.0.0.1' , port = 6379 , db = 4 ) #连接redis，相当于MySQL的conn

redis_data_dict = "f_url" #key的名字，写什么都可以，这里的key相当于字典名称，而不是key值。

class DuplicatesPipeline ( object ) :

conn = mysql . connector . connect ( user = 'root' , password = 'yourpassword' , database = 'dbname' , charset = 'utf8' )

def __init__ ( self ) :

redis_db . flushdb ( ) #删除全部key，保证key为0，不然多次运行时候hlen不等于0，刚开始这里调试的时候经常出错。

if redis_db . hlen ( redis_data_dict ) == 0 : #

sql = "SELECT url FROM your_table_name;" #从你的MySQL里提数据，我这里取url来去重。

df = pd . read_sql ( sql , self . conn ) #读MySQL数据

for url in df [ 'url' ] . get_values ( ) : #把每一条的值写入key的字段里

redis_db . hset ( redis_data_dict , url , 0 ) #把key字段的值都设为0，你要设成什么都可以，因为后面对比的是字段，而不是值。

def process_item ( self , item , spider ) :

if redis_db . hexists ( redis_data_dict , item [ 'url' ] ) : #取item里的url和key里的字段对比，看是否存在，存在就丢掉这个item。不存在返回item给后面的函数处理

raise DropItem ( "Duplicate item found: %s" % item )

return item

重点说一下，虽然redis是一个键值对应的数据库，但这里为了速度用的是哈希(hash)，和一般的字典不一样，比一般的字典多了个字段。详细可以看这个教程，重点看hexists，hset，hlen，hgetall这几个，在终端里运行一下就明白了。教程里都是命令行运行，和python里的用法稍微有点不一样。

redis哈希结构：
结构：key field(字段) value
对应：redis_data_dict url(实际的url) 0(代码里设置成了0)
而item里key是'url' value是实际的url