Pyhon : 爬虫Requests基础--错误与异常

最新推荐文章于 2022-12-28 09:47:22 发布
原创 最新推荐文章于 2022-12-28 09:47:22 发布 · 310 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入解析网络请求中可能遇到的各种异常情况，包括DNS查询失败、连接被拒绝、HTTP错误状态码、请求超时及重定向次数过多等问题，并阐述了Requests库如何通过抛出特定异常来处理这些情况。

错误与异常

遇到网络问题（如：DNS 查询失败、拒绝连接等）时，Requests 会抛出一个 ConnectionError 异常。

如果 HTTP 请求返回了不成功的状态码， Response.raise_for_status() 会抛出一个 HTTPError 异常。

若请求超时，则抛出一个 Timeout 异常。

若请求超过了设定的最大重定向次数，则会抛出一个 TooManyRedirects 异常。

所有Requests显式抛出的异常都继承自 requests.exceptions.RequestException

python自学爬虫之requests-html.md
08-16
自学爬虫，采用requests-html框架
python网络爬虫零基础入门-思维导图合集，01-爬虫基础、02-requests模块、03-数据提取、04-selenium
03-30
本文将为读者介绍如何使用Python语言进行网络爬虫,从零基础开始学习这门技能。 首先,需要安装Python语言环境和相关爬虫库。Python官网提供了简单的安装步骤,主要包括安装Python解释器和pip包管理工具。然后使用pip ...
爬虫request请求误带参数导致错误
javamanjosen的博客
02-13 2142
爬虫request请求误带参数导致错误：这会儿闲下来了顺便把我前几天遇到的一个经典问题跟大家共享一下，写的不好的地方请大家多多指点，欢迎各位提宝贵的意见，邮箱：shangzhen2014@outlook.com。持续更新爬虫遇到的相关问题与大家分享，感觉还不错的话关注一下。我工作中遇到的爬虫都是要么需要登录，要么需要cookie还要么就是需要带各种参数的类型的过程性爬虫，时而久之就会遇到各种各样的问
抛出异常处理
weixin_30656145的博客
09-06 87
如图最外层异常捕捉后，字节抛出即可 转载于:https://www.cnblogs.com/shuaiandjun/p/9595655.html
爬虫带着headers获取response出现的错误解决
asbk7721的博客
02-20 682
以爬取狮城BBS为例 当出现这种错误，并确定编码格式为utf-8的时候，把headers中的如下注释掉就OK 普通浏览器访问网页，之所以添加： "Accept-Encoding" = "gzip,deflate" 那是因为，浏览器对于从服务器中返回的对应的gzip压缩的网页，会自动解压缩，所以，其request的时候，添加对应的头，表明自己接受压缩后的数据。 而此代码中，...
Requests库中，下面哪个是由于DNS查询失败造成的获取URL异常？
weixin_42601134的博客
12-28 387
在 Requests 库中，如果由于 DNS 查询失败而导致获取 URL 出现异常，则可能会抛出 requests.exceptions.ConnectionError 异常。 ConnectionError 异常是所有网络连接问题的基类，其中包括 DNS 查询失败。 例如： import requests try: response = requests.get('http://www...
数据爬虫（三）：python中requests库使用方法详解
热门推荐
Weiker的博客
02-02 9万+
一、什么是Requests Requests 是⽤Python语⾔编写，基于urllib，采⽤Apache2 Licensed开源协议的 HTTP 库。它⽐ urllib 更加⽅便，可以节约我们⼤量的⼯作，完全满⾜HTTP测试需求。 ⼀句话——Python实现的简单易⽤的HTTP库 二、安装Requests库 进入命令行win+R执行 命令：pip install requests ...
Python网络爬虫实战指南 - 抓取与模拟登录
最新发布
09-14
使用场景及目标：适用于对公开网站进行信息搜集与数据分析的工作需要，同时也可以作为学习Python爬虫基础知识的一个实验案例。 其它说明：提醒使用者注意遵守相关法律法规及尊重道德约束，在合法合规的前提下开展...
python爬虫基础项目--爬取百度贴吧前十页.pdf
03-15
Python爬虫基础项目--爬取百度贴吧前十页 Python爬虫基础项目旨在爬取百度贴吧前十页的内容，并将其保存到本地文件夹中。本项目使用了Python语言和Requests库来实现网络爬虫的功能。 标签：Python、爬虫、网络爬虫...
学习笔记(10):21天搞定分布式Python网络爬虫-requests库-使用代理
12-22
import requests proxy = { 'http':'http://114.228.73.217:6666' } url = 'http://www.httpbin.org/ip' resp = requests.get(url,proxies=proxy) print(resp.text) 学习:...
python爬虫解决403禁止访问错误
D.K专栏
03-24 5万+
python 403禁止访问问题
【Requests】获取本地的请求IP和域名解析的IP
苟日新，日日新，又日新!!!
02-28 9971
Requests库，获取请求的当前IP和被请求对象的IP。
Python3 Requests库 post请求 报错 requests.exceptions.TooManyRedirects: Exceeded 30 redirects.
双木枯荣
11-22 9325
Python,爬虫,Requests
Python requests 多线程抓取 出现HTTPConnectionPool Max retires exceeded异常
不知火猪
02-24 1万+
场景： 在做爬虫项目或者是在发送网络请求的时候，一般都会用到request模块，但是经常会遇到： HTTPConnectionPool Max retires exceeded read time out的问题 查阅资料后发现，出现异常的原因是因为，requests在发送http请求之后，并没有关闭http连接导致，连接过多然后阻塞。 requests使用了urllib3库，默认的...
理解requests库的异常
xiaolangmin的博客
03-06 787
冲鸭！ requests.ConnectionError:网络连接错误异常，比如DNS查询失败、拒绝连接等 requests.HTTPError:HTTP错误异常 requests.URLRequired:URL缺失异常 requests.TooManyRedirects:超过最大重定向次数，产生重定向异常 requests.ConnectionTimeout:连接远程服务超时 req...
Python requests请求https遇到问题
JOJOY的博客
05-16 3万+
requests请求https遇到的问题 解决方法1： #!/bin/env python import requests url = "https://52.77.252.184/test.txt" r
python 阿里云DNS解析作为DDNS使用
xp5xp6的博客
11-27 1万+
# -*- coding: UTF-8 -*- import json import os import re import sys from datetime import datetime from aliyunsdkalidns.request.v20150109 import UpdateDomainRecordRequest, DescribeDomainRecordsRequest
理解Requests库的异常
qq_41699222的博客
10-09 664
requests.ConnectionError 网络连接错误异常，如DNS查询失败、拒绝连接 requests.HTTPError HTTP错误异常 requests.URLRequired URL缺失异常 requests.TooManyRedirects 超过最大重定向次数，产生重定向异常 requests.ConnectTimeout 连接远...
Python异常及处理方法总结
polyhedronx的博客
08-12 7万+
调试Python程序时，经常会报出一些异常，异常的原因一方面可能是写程序时由于疏忽或者考虑不全造成了错误，这时就需要根据异常Traceback到出错点，进行分析改正；另一方面，有些异常是不可避免的，但我们可以对异常进行捕获处理，防止程序终止。 1 异常类型 1.1 Python内置异常 Python的异常处理能力是很强大的，它有很多内置异常，可向用户准确反馈出错信息。在Python中，异常也...
掌握Python爬虫：python-crawler-master学习指南
- 异常处理和日志记录：对爬虫过程中的错误和异常进行处理，并记录日志以便于问题追踪和性能优化。 6. 爬虫法律和道德规范 - 确保遵守相关法律法规，尊重目标网站的robots.txt文件约定。 - 爬取数据时要遵循网站...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值