爬虫(三)- 寻找周杰伦的歌单,json()

本文介绍了如何使用爬虫技术从QQ音乐抓取周杰伦的歌单信息。通过Network面板监控HTTP请求,特别是XHR,发现歌曲数据以特殊字符串形式存在。通过调用json()方法解析这些数据,可以将它们转化为可读的字典结构,从而获取到歌单详情。

当你用requests.get()拿不到你想要的内容时,可能get到的只是网页的第0个请求。一般来说,都是这种第0个请求先启动了,其他的请求才会关联启动,一点点地将网页给填充起来。
去QQ音乐爬取周杰伦的歌单
什么是Network
Network的功能是:记录在当前页面上发生的所有请求。
在这里插入图片描述
在这里插入图片描述
第0行的左侧,红色的圆钮是启用Network监控(默认高亮打开),灰色圆圈是清空面板上的信息。右侧勾选框Preserve log,它的作用是“保留请求日志”。如果不点击这个,当发生页面跳转的时候,记录就会被清空。所以,我们在爬取一些会发生跳转的网页时,会点亮它。
在这里插入图片描述
在这里插入图片描述
什么是XHR?
Ajax技术更新网页内容时不重新加载整个网页也不用跳转,工作的时候会会创建一个XHR(或是Fetch)对象,然后利用XHR对象来实现,服务器和浏览器之间传输数据。
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值