python 爬虫网络超时与异常

Python requests模块处理网络异常

最新推荐文章于 2024-01-14 12:38:10 发布

原创最新推荐文章于 2024-01-14 12:38:10 发布 · 1.7k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#exception #python #http #爬虫

爬虫专栏收录该内容

14 篇文章

订阅专栏

本文介绍了使用Python requests库在访问网页时如何处理网络异常，特别是超时、HTTP错误和其他请求异常。通过示例代码展示了如何捕获和处理ReadTimeout、HTTPError和RequestException，并给出了对应的异常处理代码。

在访问一个网页时，如果该网页长时间未响应，系统就会判断该网页超时，无法打开网页。模拟代码如下：

import requests
for a in range(0,100):
    try:
        response = requests.get('http://www.baidu.com/', timeout=0.02)
        print(response.status_code)
    except Exception as e:
        print('异常'+str(e))

抛出的异常：

异常HTTPConnectionPool(host='www.baidu.com', port=80): Read timed out. (read timeout=0.02)

识别网络异常的分类
针对网络异常信息，requests模块同样提供了三种常见的网络异常捕获异常，代码如下：

import requests
from requests.exceptions import ReadTimeout,HTTPError,RequestException
for a in range(0,100):
    try:
        response = requests.get('http://www.baidu.com/', timeout=0.02)
        print(response.status_code)
    except ReadTimeout:#超时异常
        print('time out')
    except HTTPError:#HTTP异常
        print('httperror')
    except RequestException:#请求异常
        print('reqerror')