python抓取新浪新闻的分页连结

本文介绍了一种从非同步存取链接中获取新闻资讯的方法,包括定位链接、使用requests请求数据、去除保护层字符串以及解析返回的JSON内容来提取所需资讯链接。

第一步:

先找到新闻资讯存在的那个非同步存取的链接,该链接一般位在js那个分类下。

然后把这个链接给requests 让它存取内部的资料。

取到之后你会发现,这个内容前后两边有保护层,即一个“(”和 “);”,这个时候可以用lstrip和rstrip去截掉这些多余的字符串。

最后返回的就是一个json资料,通过json.loads将它赋给一个字典。

早在之前就已经发现,这个字典是分层次的,首先是['result'],然后才是['data'],而我们需要的链接就在data下的['url']里面

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值