新人python爬虫请求出错常见错误

请求出错

爬取页面开始没有问题，爬到某个时刻异常报错，如果是403错误，是被反爬抓到了。

解决方法：

1，设置headers，建一个user-agent池，每次用不同到user-agent访问，用来模拟不同浏览器访问页面

2，设置代理池，每次用不同的ip

3，设置延迟，time.sleep(random.randint(0,5))，改变抓取效率，防止被发现

ConnectionResetError问题：重连失败，看看header里面是不是Conection是不是设置的keep-alive，改成close

ssl证书验证问题：如果有证书，就写上，没有就设置ssl为False（使用不同的库设置方法不一样，协程中是在请求里加上verify_ssl=False，requests是在请求里加上verify=False）

访问时间过长造成假死：设置timeout，在请求里加上timeout=10，防止请求时间太长使程序阻塞