在爬取IFANR网站时遇到下一页数据通过AJAX请求获取。通过分析网络请求，找到API接口，解析请求URL中的关键参数，如`paged`和`posts_per_page`，并利用简化后的URL在其他浏览器中验证其公共性。使用Chrome的JSON-handle工具查看和解析返回的JSON数据，获取文章链接。
在爬取ifanr网站时遇到了无法直接获得下一页链接的地址，下一页的数据是通过点击加载更多之后触发ajax事件来请求数据的。
那么我们按F12来看下网页的结构，可以发现此处并不能够得到我们想要的网址。
那么问题来了，我们如何来处理有ajax请求的网页呢？百度一下可以发现有两种方法，一种是通过虚拟浏览器模仿触发ajax请求的行为；一种是找出ajax请求之后下一页的地址，直接访问该地址。这里我们采用第二种方法。
选择network-XHR，新出现的请求便是我们需要分析的。
点开可以Request URL得到链接地址：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
