爬虫应对IP封禁的一般性处理方法

封IP目前是很多网站常用的风控手段，本文整理了几种可行的封IP应对方法

---

1.通过设置Http请求头直接绕过

某些网站，由于网站开发者或者管理员安全意识不够，通过设置X-Forwarded-For头即可绕过。以IP138为例

如上图所示，设置X-Forwarded-For标头的值即可。

2.拨号

原理就是重新拨号断开重连之后，会重新分配IP。这种方式的优点是，IP质量很高，因为就是本机IP请求，但是局限性也很大，主要有以下缺点：

1. 有IP段限制
2. 拨号过程中会断网
3. 一般不适合多线程使用
4. 容易拨死

但是这种方式，如果拨号资源上去了，可以引发质变（类似很多网站在售卖的自建代理池）

3.使用代理

即对发送请求设置代理，按照匿名程度，可以分为匿名代理，透明代理等，区别就是对方的服务器能否知道你的真实IP地址，和该请求是否是代理请求。很多网站无论你使用的是什么代理，都会取代理的ip地址值（为了防范第一种方式提到的漏洞），所以对于爬虫来说，匿名代理和透明代理都是可以用的。
网上能找到的免费代理多为扫描器扫描代理，时效性在几分钟到几小时不等，配合多线程可以满足抓取需求。由于此类代理IP来源复杂，优质，劣质，国内，国外都有，因此使用时注意设置TimeOut
付费代理多为自建的IP池，质量较高有保障

更加专业的文章看这里

一些案例
案例1 只有国内IP
案例2
案例3