Max retries exceeded with ur

最新推荐文章于 2024-11-01 11:31:43 发布

第八个猴子

最新推荐文章于 2024-11-01 11:31:43 发布

阅读量100

点赞数

CC 4.0 BY-SA版权

文章标签：爬虫

原文链接：http://www.cnblogs.com/dyllove98/p/3223715.html

本文探讨了使用requests模块时遇到的ConnectionError异常问题，特别是Caused by <class 'socket.error'>: [Errno 10054]这一错误。文章分析了可能的原因包括访问频率过高导致被封、socket连接未正确关闭、proxy设置不当等，并提供了关于如何防止这些问题的解决方案，包括伪装爬虫和控制访问频率。

requests模块在抓取网页时抛出ConnectionError异常，Max retries exceeded with url

主要搜下 "Caused by <class 'socket.error'>: [Errno 10054]" 这条语句。

查看下这篇文章和这篇文章。

有以下几个方向可以思考：

是不是访问频率过大，自己的小爬虫被封了？
是不是 socket 一直连接没有关闭造成的？
是不是 proxy 设置问题？

个人觉得是访问频率过大的原因造成的，建议搜下如何伪装自己的爬虫和控制访问频率。

转载于:https://www.cnblogs.com/dyllove98/p/3223715.html

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。