aheadkeeper的专栏

当我们使用爬虫从网站中爬取数据时，对于普通的网页当然有成熟的获取页面，分析页面的工具，这里不再赘述。 由于现在网站的页面内容，大都是通过response，返回一个页面框架。这个框架里这么数据也没有，等到这个页面加载完毕后，触发ajax请求，通过ajax异步请求，来获取数据。 这种方式，用普通的方式，我们的爬虫什么也得不到。 面对这种情况，我们有以下两个思路： 首先：模拟ajax请求，直接获取ajax请求返回的数据，对这些返回的json数据进行分析。 此种方法，需要用request 进行第一次访问，