爬虫异常处理（状态码、常见错误）

最新推荐文章于 2023-07-02 00:50:50 发布
原创 最新推荐文章于 2023-07-02 00:50:50 发布 · 2.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #经验分享 #数据挖掘

了解爬虫运行中常见的异常，如301、302、404等状态码的含义，掌握URLError与HTTPError的区别及处理方法，确保爬虫稳定运行。

  1. 必要性: 爬虫在运行的过程中，很多时候都会遇到异常。如果没有异常处理，爬虫遇到异常时就会直接崩溃停止运行，要开发一个具有顽强生命力的爬虫，必须进行异常处理。

  2. 常见状态码及含义:

    301		Moved Permanently: 重定向到新的URL，永久性
302 	Fount: 重定向到新临时的URL，非永久性
304		Not Modified: 请求资源未更新
400     Bad Request: 非法请求
401 	Unauthorized 请求未经授权
403		Forbidden: 禁止访问
404		Not Found : 没有找到对应页面
500		Internal Server Error: 服务器内部出错
501		Not Implmented: 服务器不支持实现请求所需的功能

  3. URLError与HTTPError:
    两者都是异常处理的类，HTTPError是URlError的子类，HTTPError有异常处理状态码与异常原因，URLError没有异常状态码，在处理的时候，不能直接使用URLError直接代替HTTPError。如果要代替，必须要判断是否有状态码属性

    UELError出现大的原因(HTTPError无法做到):

    	(1) 连不上服务器
	(2) 远程URL不存在
	(3) 无网络
	(4) 触发了HTTPError
爬虫基础：HTTP 状态码大全（备忘清单）
数据知道的博客
03-12 8365
请求成功，服务器正在返回请求所指定部分的数据。用于响应标头中指定了数据区间的请求。这是对 If-Modified-Since 或 If-None-Match 标头的响应代码，其中 URL 自指定日期以来未修改。服务器不会接受请求，因为 url 太长。永久性否定的完成答复，该命令不成功，错误是永久性的。服务器只收到了请求的一部分，但只要没有被拒绝，客户端就应该继续请求。请求的 URL 必须通过 Location 标头中提到的代理访问。请求成功，但负载经过了第三方服务器的修改，而非原始负载。
爬虫异常处理：try-except 捕获请求与解析错误
最新发布
2503_91057718的博客
10-30 275
本文系统介绍了Python网络爬虫开发中的异常处理策略，重点涵盖请求阶段和解析阶段的常见错误处理。文章详细分析了网络连接中断、HTTP错误状态码、解析失败等典型问题，通过try-except结构实现精准捕获，并演示了包含重试机制和日志记录的健壮爬虫实现方案。异常处理的基本原则包括精确捕获、资源释放、错误分类等，同时介绍了自定义异常和异常聚合等高级技巧，帮助开发者构建高可靠性的数据采集系统，有效应对网络波动和网页结构变化带来的挑战。
爬虫中的异常处理
flysh05的专栏
12-03 993
2021.12.03 07:44:21字数 252阅读 0编辑文章URLError和HTTPErrorHTTPError类是URLError类的子类导入包 import urllib.errorhttp 错误是针对浏览器无法连接到服务器而增加的错误提示。引导并告诉浏览者该页是哪里出现了问题。通过urllib发送请求的时候，有可能发送失败，这时可通过try--except 进行捕获，异常有2类，URLError，HTTPError。测试代码：# _*_ coding: utf-8 _*_# @Tim
Python爬虫小技巧（页面解析，多进程，模拟浏览器，错误处理等）
huludan的专栏
02-08 695
本博文总结一些常用的爬虫小技巧，不涉及任何爬虫框架，适用于为科学研究或者教育目的而从互联网上爬取少量数据，内容较为粗略，仅从较高抽象层次进行说明，涉及的模块使用方法或者代码实现可以另行搜索其他相关资料参考。 数据需求分析 首先，要明确实验项目需要哪些数据，例如电商网页中的商品名字、商品价格或者社交网站中的评论标题、评论发表时间等。 网页结构分析 根据上一步的数据需求分析结果，分析含有...
【Python学习笔记2】Python网络爬虫的异常处理
陈小超的技术博客
10-28 588
本文信息主要来源于韦玮老师的《精通python网络爬虫》，仅作为个人学习笔记。 通过python库函数urllib.request去爬取网页时，遇到的异常主要时URL类和网页类的错误，python已提供URLError类和HTTPError类来处理。 【URLError】可能原因： 1、链接不上服务器；2、远程URL不存在；3、无网络 【HTTPError】可能原因，可通过状态码分类： ...
爬虫三——异常
肉丸不肉
02-20 445
''' 异常处理 程序在运行过程中, 出现了一些未知错误 捕获异常 try: 可能出现异常的代码 except: 对异常进行处理 ''' a = 10 b = 0 try: c = a / b print('a / b = ' + str(c)) except: print('除数不能是0') print...
python网络爬虫的异常处理
魔亦有道的博客
03-30 1485
本节在这里主要说的是URLError还有HTTPError，以及对它们的一些处理 1.URLError首先解释下URLError可能产生的原因：网络无连接，即本机无法上网 连接不到特定的服务器 服务器不存在 在代码中，我们需要用try-except语句来包围并捕获相应的异常。下面是一个例子，先感受下它的风骚import urllib.request requset = urllib2.Reques
python状态码200_Python爬虫常见http状态码总汇
weixin_39705193的博客
12-15 1360
我刚开始时每次碰到状态码都是一脸懵逼，反复的在百度上查资料，记得第一次使用代理IP返回407时，还跟代理云的客服发火，后来才知道是自己没做验证。在爬取数据中会碰到各种类型的状态码，为了方便大家快速查找原因，为大家搜集了我工作中碰到的这些状态码，方便大家查询，(建议大家收藏呀)1开头的http状态码表示临时响应并需要请求者继续执行操作的状态代码。100 (继续) 请求者应当继续提出请求。 服务器返回...
python爬虫常见异常共1页.pdf.zip
10-28
以下是一些Python爬虫中常见的异常及应对策略： 1. **HTTPError**: 当服务器返回一个非200状态码时，Python的`requests`库会抛出HTTPError异常。这可能意味着请求失败，如404（未找到）或403（禁止访问）。我们可以...
玩转python爬虫之URLError异常处理
09-21
对于`HTTPError`异常，可以根据状态码进行不同处理： - 对于`2xx`状态码，表示请求成功，可以直接处理响应数据。 - 对于`3xx`状态码，根据实际情况决定是否需要重定向。 - 对于`4xx`状态码，通常是客户端错误，需要...
【网络爬虫-07】处理异常
qq_46060468的博客
02-06 352
前一节了解了请求的发送过程，但是在网络不好的情况下，如果出现了异常，该怎么办呢？这时如果不处理这些异常，程序很可能因报错而终止运行，所以异常处理还是十分有必要的。 urllib 的 error 模块定义了由 request 模块产生的异常。如果出现了问题，request 模块便会抛出 error 模块中定义的异常。 1.URLError URLError 类来自 urllib 库的 error 模块，它继承自 OSError 类，是 error 异常模块的基类，由 request 模块.
Status Code：状态码
qq_38410428的博客
09-16 2万+
应状态码表示服务器的响应状态，如200代表服务器正常响应，404代表页面未找到，500代表服务器内部发生错误。在爬虫中，我们可以根据状态码来判断服务器响应状态，如状态码为200，则证明成功返回数据，再进行进一步的处理，否则直接忽略。 100 继续 请求者应当继续提出请求。服务器已收到请求的一部分，正在等待其余部分 101 切换协议 请求者已要求服务器切换协议，服务器已确认并准备切换 ...
【备忘】python爬虫之异常处理——HTTP 状态码
Hack修女のblog
11-20 440
HTTPError 是 URLError 的子类，服务器上每一个 HTTP 的响应都包含一个数字的“状态码”。 这些异常包括典型的：404（页面无法找到），403（请求禁止）和 401（验证请求）。 因为 Python 默认会自动帮你处理重定向方面的内容（状态码 300 ~ 399 范围），状态码 100 ~ 299 的范围是表示成功，所以你需要关注的是 400 ~ 599 这个范围的状态码（因...
爬虫的异常处理（018）
lemon_wsm的博客
04-01 1313
一：常见状态码及含义301 Moved Permanently：重新定向到新的URL，永久性302 Found：重定向到临时的URL，非永久性304 Not Modified:请求的资源未更新400 Bad Request：非法请求401 Unauthorized：请求未经授权403 Forbidden：禁止访问404 Not Found：没有找到对应页面500 Internet Serve Er...
Python爬虫之异常处理
偷吃了老鼠的土豆
11-12 537
处理异常 1. URLError URLEroor来自urllib库的error模块，它继承自OSError类，是error异常模块的基类，由request模块生成的异常可以通过捕获这个类来处理。 他的属性reason，可以返回错误的原因。 下面展示一个例子： from urllib import request,error try : response = request.urlopen('http://cuiqingcai.com/index.htm') except error.URLErr
Python爬虫requests请求无响应的解决方法
.
07-02 2563
在使用Python进行网络爬取数据时，requests库是一个经常使用的工具。但是，在实际应用中，可能会出现请求无响应的情况。这种情况可能由于网站服务器访问量大、网络延迟、反爬虫策略等多种原因导致。那么，如何解决这个问题呢？本文将详细介绍一些解决方法。以上是解决请求无响应问题的主流方法。在实际使用中，我们可以根据具体情况选择最适合的解决方案。Python爬虫requests请求无响应的解决方法。
[Python]网络爬虫（三）：异常的处理和HTTP状态码的分类
thewebcode
05-14 738
先来说一说HTTP的异常处理问题。 当urlopen不能够处理一个response时，产生urlError。 不过通常的Python APIs异常如ValueError,TypeError等也会同时产生。 HTTPError是urlError的子类，通常在特定HTTP URLs中产生。1.URLError 通常，URLError在没有网络连接(没有路由到特定服务器)，或者服务器不存在的情况...
python 爬虫禁止访问解决方法（403）
热门推荐
weixin_NineDays66
06-07 10万+
1.增加Header2.代理IP3.终极方法4.实例练习5.更多思考在上一篇博客中说到，程序使用一段时间后会遇到HTTP Error 403: Forbidden错误。 因为在短时间内直接使用Get获取大量数据，会被服务器认为在对它进行攻击，所以拒绝我们的请求，自动把电脑IP封了。 解决这个问题有两种方法。一是将请求加以包装，变成浏览器请求模式，而不再是“赤裸裸”的请求。 但有时服务器是根据同一I...
爬虫InsecureRequestWarning警告处理
zhaojiafu的博客
04-02 1014
将request请求设置verify=False时，如下面，会出现下面的警告错误， response = requests.get(url=url, headers=headers, verify=False) InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verificatio...
Python爬虫异常处理与赚钱项目实操
这些状态码提示了请求的结果，爬虫程序需要根据这些状态码做出相应的异常处理。 3. **数据解析异常**: 爬虫获取到的数据通常是HTML或XML格式，需要进行解析才能提取需要的信息。解析过程中可能会遇到格式不正确、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值