scrapy 爬虫过滤相同的url，Filtered duplicate request，dont_filter

最新推荐文章于 2023-06-20 15:52:06 发布

未完成的梦orz

最新推荐文章于 2023-06-20 15:52:06 发布

阅读量4.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： scrapy 文章标签：爬虫 scrapy

本文链接：https://blog.youkuaiyun.com/qq_23392341/article/details/77773653

scrapy 专栏收录该内容

5 篇文章

订阅专栏

本文介绍Scrapy爬虫框架中如何通过设置dont_filter=True参数来避免默认的URL过滤机制，确保即便之前已经爬取过相同URL也会再次进行抓取。这对于需要定期更新数据或检查页面变化的应用场景非常有用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

            yield Request('https://www.zhihu.com',
                          meta={'cookiejar':response.meta['cookiejar']},
                          headers=self.headers_zhihu,
                          callback=self.parse_index,
                          dont_filter=True
                          )

scrapy默认过滤掉重复的之前爬过的url，在request参数中添加dont_filter=True
设置不过滤url