用python scrapy 写东西用的小思路　　Item Pipeline

最新推荐文章于 2019-05-21 16:55:13 发布

cndeer

最新推荐文章于 2019-05-21 16:55:13 发布

阅读量499

点赞数

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/cndeer/article/details/71305681

python 专栏收录该内容

11 篇文章

订阅专栏

本文介绍了一种在Scrapy爬虫项目中处理重复数据的方法，通过实现一个自定义的pipeline组件，可以有效地过滤掉重复抓取的信息。这种方法利用了item中的唯一标识符，并在入库前进行检查。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

１．－－－－－－－－－－－－－－－－－－－－－－－－－－－

最近在采百度贴吧，

思考的过重问题　与　采集原信息入库问题

至于重复问题本想　可以建一个url　放在数据库里．这样在pipelines 里入库前对比一下

现在想来可以直接用/p/ 后面的数据来对比了．因为后面的数据现也是唯一的．似乎好像是按时间上升的．这样数据的重复性唯与入库时间问题好像都可以解决了．

思路：

重复过滤器

假设我们的item里面的id字典是唯一的，但是我们的蜘蛛返回了多个相同id的item

from scrapy.exceptions import DropItem

class DuplicatesPipeline(object):

    def __init__(self):
        self.ids_seen = set()

    def process_item(self, item, spider):
        if item['id'] in self.ids_seen:
            raise DropItem("Duplicate item found: %s" % item)
        else:
            self.ids_seen.add(item['id'])
            return item