coolcooljob的博客

        由于一些网站采取了一些反爬虫的措施。比如，服务器会检测某个IP在单位时间内的请求次数，如果超过了某个阈值，那么服务器会直接拒绝服务，返回一些错误信息。这种情况可以称为封IP，也就是网站把我们的IP给封掉了。解决方法当然就是使用代理了。本文主要经一些 常用的Python模块代理的使用,包括urllib,requests,selenium。...

具体内容见这里

本文转自网络爬虫与反爬虫实战，由作者韦玮首发自GitChat 我们经常会写一 些网络爬虫，想必大家都会有一个感受，写爬虫虽然不难，但是反爬处理却很难，因为现在大部分的网站都有自己的反爬机制，所以我们要爬取这些数据会比较难。但是，每一种反爬机制其实我们都会有相应的解决方案，作为爬虫方的我们，重点需要处理这些反爬机制，所以，今天我们在这里就为大家分析常见的反爬策略以及破解的手段。 1. 知己知彼-...