爬虫总结2——解决POST方法翻页及异步请求问题

最新推荐文章于 2023-08-07 15:00:10 发布

Hi-Cloud

最新推荐文章于 2023-08-07 15:00:10 发布

阅读量4.4k

点赞数 1

分类专栏：爬虫文章标签： Pyspider

本文链接：https://blog.youkuaiyun.com/muumian123/article/details/81747053

版权

本文介绍了在爬取http://www.chinaparking.org/news/1-A007--0-1-0-1-0-1网站时遇到的POST翻页和XHR异步请求问题。分析发现，翻页仅pageIndex参数变化。解决方案是解析JSON数据为字典，从而提取URL等关键信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在爬取http://www.chinaparking.org/news/1-A007--0-1-0-1-0-1这个网站的时候，点击下一页发现是使用POST方式提交的，并且返回了XHR异步请求。如下：

查看参数信息如下：

多点击几个会发现每次翻页只有pageIndex这个参数会随页数发生变化。具体实现代码如下：

from pyspider.libs.base_handler import *
import re
import json

class Handler(BaseHandler):
crawl_config = {
    'header': {
'Accept':'application/json, text/javascript, */*; q=0.01',
#'Accept-Encoding':'gzip, deflate',
'Accept-Language':'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;