本文介绍了如何分析一个使用JS加密的网站，以获取动态加载的行业数据。通过JS逆向工程，揭示了payload和sig的加密过程，其中payload经过多次操作加密，而sig则是payload与常量_P拼接后进行MD5加密并转为大写。最后，文章展示了如何用Python实现这些加密步骤，以构造有效请求。
实现的目标：可以通过JS加密逆向后，得到加密参数，请求获取数据。此方法同样适用于被前端JS加密的用户名、密码爆破。
被爬取的网站：某某数据网
https://www.***.com/industry/newest?from=data
JS加密逆向分析
首先，分析获取数据的API。抓包，发现是：
https://www.***.com/api2/service/x_service/person_industry_list/list_industries_by_sort
这个网站不存在分页，是鼠标下滑动态加载数据的，所以利用selenium爬虫效率低，效果也不是很好。
当然如果是菜鸟，最好还是利用这种方式。
先爬一下看看，发现返回的数据是加密的，先不管他。
我们分析请求参数，发现是两个加密的请求参数，分别是payload和sig。
如果把这两个参数去掉，或者这两个参数是错误的，则request无法返回正确的
最低0.47元/天 解锁文章
扫一扫
950
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
