HTTPConnectionPool（host:XX）Max retries exceeded with url 解决方法

最新推荐文章于 2025-02-14 13:51:18 发布

转载最新推荐文章于 2025-02-14 13:51:18 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/luofeel/p/10399716.html

在频繁访问同一网站时，爬虫可能遇到HTTPConnectionPool错误，这是由于连接未能正确返回到连接池，导致无法创建新连接。通过将headers中的Connection设置为'close'，可以强制关闭连接，解决此问题。

爬虫多次访问同一个网站一段时间后会出现错误 HTTPConnectionPool（host:XX）Max retries exceeded with url '<requests.packages.urllib3.connection.HTTPConnection object at XXXX>: Failed to establish a new connection: [Errno 99] Cannot assign requested address'
是因为在每次数据传输前客户端要和服务器建立TCP连接，为节省传输消耗，默认为keep-alive，即连接一次，传输多次，然而在多次访问后不能结束并回到连接池中，导致不能产生新的连接
headers中的Connection默认为keep-alive，
将header中的Connection一项置为close

headers = {
'Connection': 'close',
}
r = requests.get(url, headers=headers)

此时问题解决
---------------------
作者：張濤
来源：优快云
原文：https://blog.youkuaiyun.com/ZTCooper/article/details/80220063
版权声明：本文为博主原创文章，转载请附上博文链接！

转载于:https://www.cnblogs.com/luofeel/p/10399716.html