爬虫面试题总结

反爬有哪些？
1、识别用户身份：
user_agent、 cookies、 referer、 验

证码
2、识别用户行为：
并发量（IP和cookies）、
在线时间、
只请求html或ajax等部分类型数据、
蜜罐（设置一些正常用户不会点击的链接，但爬虫能爬到，一旦访问，IP暴露）、
通过机器学习分析是否想爬虫
3、动态数据加载：
ajax
js