Python requests“Max retries exceeded with url” error

最新推荐文章于 2025-07-16 13:43:36 发布
最新推荐文章于 2025-07-16 13:43:36 发布
阅读量6.7w 收藏 32
点赞数 11
CC 4.0 BY-SA版权
分类专栏： python 文章标签： python request retries
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/shi_weihappy/article/details/51009602

今天写python网络爬虫的时候遇到一个问题，报错的具体内容如下：

HTTPConnectionPool(host='dds.cr.usgs.gov', port=80): Max retries exceeded with url: /ltaauth//sno18/ops/l1/2016/138/037/LC81380372016038LGN00.tar.gz?id=stfb9e0bgrpmc4j9lcg45ikrj1&iid=LC81380372016038LGN00&did=227966479&ver=production (Caused by NewConnectionError('<requests.packages.urllib3.connection.HTTPConnection object at 0x105b9d210>: Failed to establish a new connection: [Errno 65] No route to host',))

多方查阅后发现了解决问题的原因：http连接太多没有关闭导致的。

解决办法：

1、增加重试连接次数

  requests.adapters.DEFAULT_RETRIES = 5

2、关闭多余的连接

requests使用了urllib3库，默认的http connection是keep-alive的，requests设置False关闭。

操作方法

s = requests.session()
  s.keep_alive = False
Python 中错误 ConnectionError: Max retries exceeded with url
迹忆客
03-06 4026
在调用时指定正确且完整的 URL。不受 API 的速率限制。requests 模块能够验证站点的 SSL 证书。可以访问互联网。
Python 报错 Max retries exceeded with url 解决方案
清平乐的技术专栏
06-26 4486
默认的http connection是keep-alive的，在post请求中，header中有这样一个字段：Connection，我们将其置为’close’requests使用了urllib3库，默认的http connection是keep-alive的，requests设置False关闭。
HTTPSConnectionPool(host=‘openaipublic.blob.core.windows.netport=443‘): Max retries exceeded with ur
最新发布
m0_52307083的博客
07-16 1097
URL 或 host 参数格式错误DNS 解析失败网络不通或防火墙拦截目标服务器暂时不可用问题类型解决方案URL 格式错误检查 host/port 分隔符，使用完整 URLDNS 解析失败更换 DNS，检查 ping网络不通测试 curl/google 是否通防火墙/代理限制关闭防火墙或配置代理服务不可用手动下载文件并缓存依赖库问题检查 tiktoken 版本或使用 requests。
爬虫开发--常见问题解决方法
nikeylee的博客
10-27 5910
爬虫开发06--
【爬虫 | Python】解决‘Requests Max Retries Exceeded With Url‘报错的问题
InetGeek的博客
03-12 2万+
【爬虫 | Python】解决'Requests Max Retries Exceeded With Url'报错的问题, Max retries exceeded with url; Connection timed out;
python requests max retries_python requests报Max retries exceeded with url异常
weixin_39859055的博客
12-23 446
项目中有个模块是定时获取设备状态的，通过设备的http请求访问获取返回的状态码，然后根据状态码检测设备是否在线。但是最近发现连接后出现了偶尔连接不上的情况，报错如下：2018-06-14 15:51:42,076 - configuration_model - ERROR - HTTPSConnectionPool(host='10.1.1.1', port=443): Max retries e...
【Python】关于Caused by SSLError Max retries exceeded with url 的错误
小白兔的窝
03-17 1万+
可能的问题和解决方法如下： 1.http连接太多没有关闭导致的 解决方法1：关闭多余链接 import requests requests.adapters.DEFAULT_RETRIES = 5 # 增加重连次数 s = requests.session() s.keep_alive = False # 关闭多余连接 s.get(url) # 你需要的网址 解决办法2：增加重连次数 requests.adapters.DEFAULT_RETRIES = 5 2.访问次数频繁，被禁..
关于使用Gemini API出现：HTTPSConnectionPool Max retries exceeded with url:的代理错误的解决方法
LAzzzzzzzz的博客
01-08 931
解决gemini的代理问题
python 使用代理IP报错 HTTPSConnectionPool(host=‘XXXXX‘, port=443): Max retries exceeded with url
qq_17627195的博客
07-15 5027
我使用的方法是，通过浏览器设置代理IP。然后访问对应网站，可以访问，那代表代理IP没问题，如果不能访问，则代表代理IP有问题。打开chrome设置->系统->打开您计算机的代理设置->开启代理->填写IP和端口->保存。目前我自己用以上方法都解决了。
python 关于Max retries exceeded with url 的错误
热门推荐
天下任我行
05-08 15万+
在爬取boss直聘时出现这种错误，于是搜索了网上很多文章，总结如下： 1.http连接太多没有关闭导致的，解决方法： import requests requests.adapters.DEFAULT_RETRIES = 5 # 增加重连次数 s = requests.session() s.keep_alive = False # 关闭多余连接 s.get(url) # 你需要的网址 2....
【解决】Python——Max retries exceeded with url: (Caused by NewConnectionError(‘＜urllib3.connection
爱喝星冰乐的博客
09-03 1万+
解决使用requests库请求时，时间长并报错的问题
Max retries exceeded with url错误
weixin_30835923的博客
08-25 1769
进行requests库学习的时候，报Max retries exceeded with url错误，网上查询说是，用下面这个解决方法没用，后来关闭了fiddler后发现就可以了，可能fiddler开的连接数太多了 http连接太多没有关闭导致的。 解决办法： 1、增加重试连接次数 requests.adapters.DEFAULT_RETRIES = 5 1 2、关闭多余的...
【bug】python requests报Max retries exceeded with url异常
盼君的程序人生
01-18 545
错误信息： python requests报Max retries exceeded with url异常 原因分析： 1http请求连接太多没有关闭造成的. 解决方案一： 关闭多余的链接： requests使用了urllib3库，默认的http connection是keep-alive的，requests设置False关闭。 sess = requests.session() sess.keep_alive = False 解决方案二： 增加重试连接次数： requests.DEFAULT_RETR
python requests已解决Max retries exceeded with URL问题
weixin_45091564的博客
11-01 2913
检查请求参数：我们需要仔细检查和调整请求参数，确保其正确性。特别是在设置请求头、请求体、超时时间等参数时，要确保其与实际需求相符。首先，确保你的网络连接正常。尝试使用其他设备或网络连接访问相同的URL。如果访问正常，则问题可能出在你的网络连接上。你可以通过修改Requests库的重试策略来增加重试次数。访问次数频繁，被禁止访问，解决方法：使用代理。http连接太多没有关闭导致的，解决方法。
【Bug】python requests发起请求，报“Max retries exceeded with url”
学无止境、积少成多、厚积薄发
04-28 2万+
在本地机器上，高频率重复调用一个API接口，出现“Max retries exceeded with url”，拒绝连接的情况。 楼主讲一下，遇到这个bug的过程： 在服务器上开发了一个识别图像文字API接口，也部署好了，准备对接口进行测试， 楼主准备对本地文件夹中的2000多张图片进行测试，也就是说需要重复调用API接口2000多次。 请求接口50多次的时候，接口就不反馈信息了，报错，连接错误，无法连接，一开始以为是网络的问题，然后又重头开始调用直到调了300多次，报错，连接错误，无法连接，一直这么下去大
python使用requests Max retries exceeded with ur
03-20
### 出现 `Max retries exceeded` 错误的原因 当使用 Python 的 `requests` 库发起 HTTP 请求时，如果目标服务器无法正常响应或者网络连接存在问题，则可能会触发 `MaxRetriesExceededError` 异常。这种错误通常表明客户端尝试多次重新连接到指定的 URL 都失败了。 常见的原因包括但不限于以下几点[^2]: - **错误的 URL**: 如果输入的目标地址不正确或不可访问。 - **SSL 证书验证问题**: 当请求需要 SSL/TLS 加密通信而未提供有效的认证文件时会引发此问题。 - **网络波动或中断**: 不稳定的互联网环境可能导致数据包丢失从而造成超时现象。 - **过多并发请求或服务端负载过高**: 过度频繁地向同一资源发出大量查询可能使对方拒绝进一步的服务请求。 针对上述情况有多种方法可以缓解该类异常的发生： --- ### 解决方案概述 #### 方法一：确认并修正URL路径准确性 确保所提供的链接绝对无误，并且能够被成功解析指向实际存在的网页位置。 #### 方法二：禁用SSL验证 (需谨慎操作) 对于某些特殊场景下不需要严格遵循安全协议的情况，可以通过设置参数来跳过HTTPS握手过程中的身份校验环节。然而这样做存在潜在风险，请仅限于测试环境中应用此项调整: ```python response = requests.get('https://example.com', verify=False) ``` > 注意: 关闭ssl验证虽然能暂时规避部分因加密机制引起的麻烦,但从长远来看并不推荐作为常规手段. #### 方法三：优化网络状况下的鲁棒性设计 通过引入重试策略增强程序抵抗瞬态故障的能力。下面展示了一个利用urllib3内置功能实现自定义最大尝试次数的例子[^3]: ```python from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry session = requests.Session() retry_strategy = Retry( total=5, status_forcelist=[429, 500, 502, 503, 504], method_whitelist=["HEAD", "GET", "OPTIONS"], backoff_factor=1 ) adapter = HTTPAdapter(max_retries=retry_strategy) session.mount("http://", adapter) session.mount("https://", adapter) try: response = session.get('https://example.com') except Exception as e: print(f"An error occurred while making the request:{e}") finally: session.close() ``` 在此配置里设置了总共允许最多五次额外努力机会；列举出了哪些HTTP状态码应该促使再次发送同样的指令而非立即放弃；规定适用的动作类型列表以及每次等待间隔时间的增长系数(backoff factor). #### 方法四：合理控制请求频率避免压垮远程主机 适当延长两次连续调用之间的时间差有助于减轻目标站点的压力水平，进而减少遭遇封锁的可能性. 可考虑加入随机延时逻辑: ```python import time import random time.sleep(random.uniform(1, 3)) # 让每一次循环间歇期介于一秒至三秒范围内浮动变化 ``` 另外还可以借助代理池技术分散流量来源方向达到相同效果的同时提高抓取效率。 --- ### 总结说明 综上所述，面对`Max retries exceeded with url`这类难题可以从多个角度切入寻找突破口——无论是核实基础信息还是改良现有架构都值得深入探讨实践一番。最终目的是构建更加稳固可靠的自动化流程体系，在保障性能指标达标前提下兼顾用户体验满意度提升。
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值