python爬虫——爬取用js实现翻页的网站

最新推荐文章于 2025-10-30 17:32:50 发布

原创

最新推荐文章于 2025-10-30 17:32:50 发布 · 3.3w 阅读

CC 4.0 BY-SA版权

文章标签：

本文介绍了一种针对使用JavaScript动态加载数据的网站进行数据抓取的方法。通过对目标网站的分析，找到了获取分页数据的有效途径，即通过修改URL中的参数来实现不同页面数据的抓取。

——————————————-背景介绍———————————————
首先，这次想爬取的网站地址为：http://www.zhuhai.gov.cn/hd/zxts_44606/tsfk/

这里写图片描述

查看网站的源代码后，发现页面数据没有在源代码中，猜测应是js生成的。

检查元素后，刷新Network，可找到表格数据所在的URL：

4 条评论

梦的尽头是海洋 2018.10.25
搞了半天其它，这个居然真的行，而且速度非常快，赞赞赞，
- 后青春诗ing回复梦的尽头是海洋 2019.01.28
  [reply]weixin_42221102[/reply] 刚好看到这篇文章，这个爬取不难吧，你通过fiddler抓包会发现这是个POST请求，而页数就是其中一个参数的呀。博主莫怪呀，只是看到了分享了一下。[code=python] import requests url = 'http://www.zh12345.gov.cn/external/zf/getAllListView.do?pwType=1&orgCode=-1' headers = { 'Content-Type': 'application/x-www-form-urlencoded', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'Referer': 'http://www.zh12345.gov.cn/external/zf/getAllListView.do?pwType=1&orgCode=-1', } for i in range(1, 3): # 页码可在第一页获取总页数。 data = 'code=&phone=&callType=11&type=1&title=&page=%s' % (str(i)) response = requests.post(url=url, headers=headers, data=data) print(response.text) [/code]

Hi-Cloud 2018.06.15
如果这种方法没有用呢？该怎么解决
- +我一个回复后青春诗ing 2020.05.25
  [reply]weixin_42812527[/reply]这是什么意思啊，能否解释一下啊
- 后青春诗ing回复Hi-Cloud 2019.01.28
  [reply]muumian123[/reply] 这是你想要的吗？当然博主的方法也很好的。思路很不错，但是还是建议抓包看一下，挺省事的。 [code=python] import requests url = 'http://www.zh12345.gov.cn/external/zf/getAllListView.do?pwType=1&orgCode=-1' headers = { 'Content-Type': 'application/x-www-form-urlencoded', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'Referer': 'http://www.zh12345.gov.cn/external/zf/getAllListView.do?pwType=1&orgCode=-1', } for i in range(1, 3): # 页码可在第一页获取总页数。 data = 'code=&phone=&callType=11&type=1&title=&page=%s' % (str(i)) response = requests.post(url=url, headers=headers, data=data) print(response.text) [/code]