一、场景简述
笔者在写xx爬虫的时候,需要获取页面请求返回的json数据中的某些数据,遇见如下的"key":value("id":value)或者是"key":"value"("rateDate":"value")区别在于value是否带引号,并且需要获取相应的value值,笔者通过正则快速解决

二、场景实现
1、"key":value("id":value)类型
主要关注点在于正则部分
page = 1
param = {
'currentPage': page
}
# 伪装火狐
kv = {'User-Agent': 'Mozilla/5.0'}
response = requests.get(url, params=param, headers=kv)
data = response.text
#通过正则获取"id":value列表
datalist = re.findall(r'\"id\":.*?(?=,)', data)
#打印datalist
print(datalist)
打印结果如下

获取list中的value如下
text = []
for i in range(20):
#将datalist[i]加入到list列表中
text.append((datalist[i]))
#利用split 用:符号进行切分
listid = re.split(':',text[i][3])
itemid = listid[1]
print(itemid)
#每次获取的值就是value了
2、"key":"value"("rateDate":"value")类型
datalist2 = re.findall(r'\"rateDate\":\".*?\"', data)
print(datalist2)
打印结果如下

获取list中的value如下
for i in range(20):
#可以观察以上是以"分隔开因为三个"是注释,所以需要\"进行转义,所以可以利用split进行切分,因为切分的结果在list中
text.append((datalist2[i].split("\"")[3])
times = text[i][0]
print(times)
#打印结果就是value值了
作者在编写爬虫时,需获取页面请求返回的JSON数据中特定键对应的值,值存在带引号和不带引号两种情况。作者通过正则表达式快速解决了该问题,并分别展示了两种类型数据获取值的实现及打印结果。
1599

被折叠的 条评论
为什么被折叠?



