本文探讨了Python爬虫在面对大量数据抓取时如何通过调整抓取速度和使用代理IP来避免对目标网站的压力。分布式爬虫能提高效率，但需要稳定的IP资源。免费代理IP的可用率低，且容易被识别封禁。建议使用高质量的付费代理IP，并在IP被封锁时通过API切换新的IP地址，确保爬虫工作的连续性。
1、放慢抓取速度，减小对于目标网站造成的压力，但会减少单位时间类的抓取量。
2、使用代理IP，使用代理IP之后可以让爬虫伪装自己的真实 IP。
对于python爬虫来说，有时业务量繁重，分布式爬虫是最好的提升效率方式，而分布式爬虫又急切需要数目众多的IP资源，这一点免费IP是满足不了的，所以对于免费代理，真的不用考虑了，其IP可用率能超过 10% 就已经是谢天谢地了，使用这种质量的IP资源简直苦不堪言。
这个路由重新开机就没有了。可以routeadd-pIP地址mask子网掩码默认网关。即便不小心重启，该网关还是在的。使用ADSL拨号的一个特点就是：IP不固定，重启路由器就可以换一个新的IP。ISP拥有大量的IP，意味着新分配到的代理和之前分配的代理IP相同的机率很低。只要发现目前的IP被封锁，就可以立刻呼叫相关的API将网络断线并重新拨号，取得新的代理IP继续工作。
非高匿、多人重复用、请求过频过高、还特有规律都很可能会导致被识别封禁
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
