这一节是使用requests模块爬取肯德基餐厅信息
在这个案例中,输入店的地址并点击查看后,地址栏中的地址未发生改变,也就是说明这时发起的是一个Ajax请求,需要在network中看XHR。
PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
步骤:
- 先根据Request
URL指定url(http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword),指定完url紧接着要进行UA伪装,即定义一个headers; - 再根据url和 Ajax包最后一段进行参数处理;然后根据Request
Method确定发送的是什么请求,从而进行发送请求,并定义一个response来接受响应的数据对象; - 然后从响应对象中获取响应数据,根据Content-Type确定是什么类型的数据,该用什么方法;最后进行持久化存储
实现代码:
import requests
if __name__=="__main__":
#1、指定url
post_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
#2、进行UA伪装
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
} # 在url之后要紧接着进行UA伪装,也是定义一个he

本文介绍了如何利用requests库抓取肯德基网站上的餐厅信息。通过观察Ajax请求,设置URL和headers,处理参数,发送HTTP请求,并解析响应数据,最终将数据保存。提供了一个学习Python网络爬虫实战的实例。
最低0.47元/天 解锁文章
971

被折叠的 条评论
为什么被折叠?



