爬虫 一些爬取图片时出现的错误

报错

** 在爬取大量图片时遇到的报错**

解决方法：

1. IP被封
   更换headers或者换代理IP

proxies = {"http": "http://101.132.111.208:8082"}

** 注：代理分为http和https两种，不能用混。**

2. http的连接数超过最大限制。
   request的连接数过多而导致Max retries exceeded
   在header中不使用持久连接。
   headers的Connection参数默认为keep-alive，导致之前所有的链接都一直存在，占用了后续的链接请求。

requests.adapters.DEFAULT_RETRIES = 5  # 增加重连次数
s = requests.session()
s.keep_alive = False  # 关闭多余连接

5. 网站服务器太差，爬取请求的速度太快。

    time.sleep(1)

就我个人的情况而言：第一种方法更适用。