本文介绍了在网络爬虫中如何利用浏览器的Network面板定位动态页面请求，并以QQ音乐搜索为例，讲解了如何查找所需请求，特别是通过Preview判断请求内容。同时，解释了XHR（XMLHttpRequest）用于实现页面局部更新的技术，并阐述了JSON作为数据交换格式的重要性。最后，提供了使用requests库获取数据并将其转化为JSON进行处理的实践操作。
访问动态页面时，会有很多请求，如果用BeautifulSoup只能访问第0个请求，所以爬取大多数网页需要在Network中查找到所需要的请求页面。以QQ音乐的网站为例，在QQ音乐中搜索孙燕姿。
- 找到Network
网页中点击右键，进入检查（ctrl+shift+i），第一行第四个是Network
- Network的功能
记录在当前页面上发生的所有请求。现在点进去看上去好像空空如也的样子，这是因为Network记录的是实时网络请求。现在网页都已经加载完成，所以不会有东西。如果此时点击刷新，浏览器会重新访问网络，Network中就会有记录。
- 红框框里表示共有25个请求，31.0KB流量，黄框框里是具体的25个请求。
（有些网页，直接把所有的关键信息都放在第0个请求里，尤其是一些比较老（或比较轻量）的网站，用requests和BeautifulSoup就能解决它们（前两篇里用的requests和BeautifulSoup只能访问第0个请求）。比如豆瓣TOP。）
当我们在QQ音乐中搜索时，会有很多个请求，要在黄框框中找到我们搜索的那个请求所在的具体位置，一般在右边（下面红框框中）的Preview中查看我们想要的内容到底在哪个请求中（搜索的话一般是client_search_cp....那个请求）。再用requests库，去模拟这个请求。然后在Header的General中找
最低0.47元/天 解锁文章
扫一扫
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
