scrapy retry 错误重试设置

最新推荐文章于 2025-09-18 07:20:57 发布

原创最新推荐文章于 2025-09-18 07:20:57 发布 · 5.2k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

随便写写python 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了在使用Scrapy爬虫时如何设置错误重试，以应对请求URL时可能出现的异常情况，如代理IP问题。通过在settings中间件设置和调整参数，可以确保在遇到异常时自动重试请求，提高爬虫的稳定性。重点关注了中间件的执行顺序和HTTP状态码的处理。

有时候用scrapy爬虫的时候会遇到请求某些url的时候发生异常的情况（多半是因为代理ip抽风了），这时候就可以设置一下retry让它自动重试，很简单。

settings中间件设置

看了下官网
官网截图
那么很方便的，我们也可以在settings里这么写

DOWNLOADER_MIDDLEWARES = {
    'rent.middlewares.ProxyMiddleWare': 700,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
}

其中第一个是我自己定义的代理ip的中间件，像官网一样proxy中间件的优先级数字应该比retry更大。（数字越大越先执行，想想如果你遇到一个抽风的代理ip，然后你开始retry，如果retry比proxy先执行，那么你就会不停用这个抽风的ip去重试，毫无意义；反之，因为我在proxy中间件有些如果response不是200就换个ip，这样的话就还算合理）

settings参数设置

最后需要在settings里再加几行

# Retry settings
RETRY_ENABLED = True
RETRY_TIMES = 5 # 想重试几次就写几
# 下面这行可要可不要
RETRY_HTTP_CODES = [500, 502, 503, 504, 408]

最下面那行如果需要指定一些code来retry的话，可以写上，否则不用写，我写的这几个就是不写的时候默认的。

主要搜了一堆博客要么就是自己定制retry中间件的要么就几行字不清不楚打发了…受不了了…