爬虫入门(四) ajax网页的爬取

ajax网页的爬取

看完1，2，3的教程其实呢一些简单结构的网站基本都能爬取了，然而在现在网页页面资源越来越丰富的趋势下，每次一刷新就把整个网页给你重新加载已经是out的做法了，而你可能也会忍受不了它的加载速度，所以Ajax技术就诞生了，这是一种异步加载的技术，换而言之就是你看到的只是加载了一部分的页面，典型的就是如果壳网http://www.guokr.com/scientific/，你一直往下拉，页面就会显示更多的内容给你，而不是一次性的全加载进来

可我们的爬虫可不能帮你”手动向下拉”，那怎么办呢？这时候就要通过抓包来分析异步加载的网页的特征了

我们就以上面的果壳网为例子，这里我用的是火狐浏览器来抓包

环境 ubuntu 16.04 python3.6.1

我们套路一下，打开页面，打开检查元素开发者选项，然后刷新一下，在网络监视器里选择XHR(XMLHttpRequest)，我们可以看到一个请求就来了，我们再往下拉，等到第二个页面加载，第二个请求就来了

我们点开两个请求看看参数