Python如何优雅的设置爬虫重试次数

Python如何优雅的设置爬虫重试次数

工作中经常碰到的问题就是，当我们在使用爬虫发送请求的时候。某个方法出现了异常，重试几次循环重复一个方法是很常见的。一提到重复操作，我们第一反应就是使用循环。接下来咱们用while看一下示例代码：

import requests
url ="www.baidu.com"
i=0
total=2000
while i < total:
    try:
        result=requests.get(url)
        return result.status_code
    except:
        i+=1

在代码外面在加一层循环。这个代码看起来已经不是丑的问题了。那接下来我们使用一个优雅的方式。python retrying模块。retrying是一个python的重试包，可以用来自动重试一些可能运行失败的程序段，retrying提供一个装饰器函数retry，被装饰的函数就会在运行失败的情况下重新执行，默认只要一直报错就会不断重试。首先安装一下

pip install retrying

下面是示例代码：

from retrying import retry
@retry(stop_max_attempt_number=2000)
def test():
    url ="www.baidu.com"
    result=requests.get(url)
    return result.status_code
test()

我们原来的代码没有进行任何修改，只是说在这个函数之前，我们加上了这么一个装饰器这样看起来是不是很优雅。那除此之外，我们还可以设置retrying其他的参数

1. 重试之间等待 2 秒。

   <