实现的目标:可以通过JS加密逆向后,得到加密参数,请求获取数据。此方法同样适用于被前端JS加密的用户名、密码爆破。
被爬取的网站:某某数据网
https://www.***.com/industry/newest?from=data
JS加密逆向分析
首先,分析获取数据的API。抓包,发现是:
https://www.***.com/api2/service/x_service/person_industry_list/list_industries_by_sort
这个网站不存在分页,是鼠标下滑动态加载数据的,所以利用selenium爬虫效率低,效果也不是很好。
当然如果是菜鸟,最好还是利用这种方式。
先爬一下看看,发现返回的数据是加密的,先不管他。