爬虫(13)——动态网页数据抓取(Selenium Chromedriver)

目录

动态网页数据抓取

AJAX：

安装Selenium和 Chromedriver

验证安装是否成功

---

动态网页数据抓取

AJAX：

异步javascript和XML。在后台与服务器进行少量数据交换，Ajax可以使网页实现异步更新。这意味着可以在不加载网页的情况下，对网页进行更新。传统的网页要更新的话必须重载整个网页页面。

例如：

https://www.xfz.cn/

点击查看更多之后

又重新加载了10条数据，但是网页并没有更新

点击检查 Network之后，再次点击  查看更多 ， 然后点击出现的第一条，会发现新出现的数据是通过”新的url”进行请求的然后加载到原来的页面。所以在原网页的网页源代码是找不到新加载的数据的。这就需要新思路解决问题。

我们可以直接分析ajax调用的接口，即“新的url”，通过代码请求接口。

如此案例：https://www.xfz.cn/api/website/articles/?p=2&n=20&type=

p=2指的是刷新