本文总结了常见的反爬虫策略，包括通过Headers、用户行为和动态页面的反爬措施。对于Headers反爬，可通过设置User-Agent和Referer解决；针对用户行为反爬，如频繁访问，可使用IP代理并随机间隔请求；动态页面的反爬虫可通过分析ajax请求或使用selenium+phantomJS模拟浏览器执行JavaScript。
作者：bsdr
链接：https://zhuanlan.zhihu.com/p/20520370
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
0x01 常见的反爬虫
这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。
从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。
一般网站从三个方面反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种比较容易遇到，大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用，这样增大了爬取的难度。
0x02 通过Headers反爬虫
从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
