selenium网络爬虫去哪儿机票利用performance获取日志截获加载的xhr，ajax，js等数据

这次练习获取的网站使用了许多反爬技术：

1.html页面使用了css字体偏移

2.xhr加载有webdriver反爬检测

3.请求接口使用了多项加密参数以及cookie验证

4.部分js代码用了ob混淆

 

一开始只是想学习练手一下css偏移学习后是解决了，但想获取页面源代码时候遇到了重重问题。

爬取测试思路：

        request请求无数据内容，说明数据是异步请求得来，查看xhr找到了请求的api，查看试图逆向参数发现稍有难度，参数比较多，接着试图换一个思路，用selenium访问获取页面源代码，接着驱动访问发现显示不出内容，并要求登录，然后解决cookies：解决登录获取cookies.载入cookies后发现依旧是不现实数据，经过检查发现有个js文件监测webdriver访问，所以要将selenium伪装。最后成功加载出内容。接着获取页面源代码看看，结果又再次发现新问题！