使用threadpool并发测试，报错HTTPConnectionPool Max retires exceeded

解决方法：和以下答案一致

https://blog.youkuaiyun.com/qq_21405949/article/details/79363084

 

• 场景： 
  在做爬虫项目或者是在发送网络请求的时候，一般都会用到request模块，但是经常会遇到：

HTTPConnectionPool Max retires exceeded read time out的问题

• 1

查阅资料后发现，出现异常的原因是因为，requests在发送http请求之后，并没有关闭http连接导致，连接过多然后阻塞。 
requests使用了urllib3库，默认的http connection 是keep-alive的，requests中可以设置False关闭。

实际在python2中的代码使用

s = requests.session()
s.keep_alive = False

 

Tips: 
网上有的说是：

s = requests.session()
s.config['keep_alive'] = False

单我实际应用中报异常了。最后用第一个成功解决。

总结： 
对于request库的诸多应用，应该多熟悉操作。加深印象。

转载于:https://www.cnblogs.com/yoyo008/p/9268804.html