scrapy基础框架 pipelines 去重

最新推荐文章于 2025-04-03 19:14:07 发布

顾清风.

最新推荐文章于 2025-04-03 19:14:07 发布

阅读量1.3k

点赞数

分类专栏：简易小代码

本文链接：https://blog.youkuaiyun.com/weixin_43335187/article/details/83349350

版权

简易小代码专栏收录该内容

5 篇文章

订阅专栏

本文介绍了一种使用Scrapy框架进行数据抓取时的去重策略，通过CsdnPipeline类实现对已抓取内容的过滤，避免重复数据的存储，提高数据质量和爬虫效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

导入DropItem模块用来删除

from scrapy.exceptions import DropItem

class CsdnPipeline(object):
    def __init__(self):
        self.book_set = set()
        def process_item(self, item, spider):
            name = item['title']
            if name in self.book_set:
                raise DropItem("有: %s 了" % item)
            else:
                self.book_set.add(name)
            return item

大概思路就是init()方法来初始化对象
然后判断获取内容是否已经出现过
如果出现过就删除
没有出现过就继续添加