网页动态加载数据数据量少的时候使用firebug 查看比较方便:对接上浏览器驱动可以实现对javascript代码的逆向解析。
1、安装FireBug插件
打开FireFox浏览器,按下F12会弹出调试器,这就是我们的FireBug了,说明我们安装成功了。
2、使用FireBug进一步分析爬取目标
单击响应按钮,所示是网页中通过ajax请求得到的json格式数据,也就是动态加载的数据,现在把这些数据复制下来,粘贴到json viewer工具中,可以得到一个被json格式化以后的json对象视图,方便分析数据结构。但有时出来的json数据中有大量空格换行,导致json viewer解析不出来,所以我更推荐直接在FireBug中,查看json对象数据。
3、使用提取json数据
在FireBug中查看到了返回Ajax回调的JSON数据的那个请求URL以后:请求该URL可以获取其返回的JSON格式数据。
把这段URL复制到浏览器的地址栏中,回车。可以看到我们要的数据。
运行以上代码,我们可以得到图片中同样的数据。
便实现了对动态网页的逆向工程。不需要渲染js代码也能获取到动态加载的数据。