爬虫03_基于requests的分页数据的爬取

最新推荐文章于 2025-02-26 08:23:35 发布

我是那颗银弹

最新推荐文章于 2025-02-26 08:23:35 发布

阅读量3.1k

点赞数 2

分类专栏：爬虫 python 文章标签： python post 爬虫 requests ajax post请求

本文链接：https://blog.youkuaiyun.com/qq_40272386/article/details/105459806

版权

项目实战01—基于ajax post请求爬取肯德基餐厅数据信息：

爬取肯德基的餐厅位置数据，练习网址
处理ajax post请求：使用requests模块的.post(url, headers, data)方法，其中参数data是.post()方法中转门处理参数动态化的重要参数
分页的核心在于分析请求数据包中的pageIndex参数，先抓取一页，再通过循环抓取多页
注意：一定要对ajax请求返回的数据包进行分析，找到真正的url，找到响应的数据，如果是json数据直接调用response.json()方法将返回的字符串形式的json数据保存成字典或列表类型
项目代码展示

import requests
import os

url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
headers = {
   
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
}
for page_index in range(1,8):