python爬虫——爬取用js实现翻页的网站

最新推荐文章于 2025-05-12 10:33:52 发布

原创

最新推荐文章于 2025-05-12 10:33:52 发布 · 3.2w 阅读

85 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

本文介绍了一种针对使用JavaScript动态加载数据的网站进行数据抓取的方法。通过对目标网站的分析，找到了获取分页数据的有效途径，即通过修改URL中的参数来实现不同页面数据的抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

——————————————-背景介绍———————————————
首先，这次想爬取的网站地址为：http://www.zhuhai.gov.cn/hd/zxts_44606/tsfk/

这里写图片描述

查看网站的源代码后，发现页面数据没有在源代码中，猜测应是js生成的。

检查元素后，刷新Network，可找到表格数据所在的URL：

https://www.zh12345.gov.cn/external/zf/getAllListView.do?pwType=1&type=1&callType=11&orgCode=-1

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

linzch3

关注关注

16
点赞
踩
85

收藏

觉得还不错? 一键收藏
6
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

python爬取jsp网页_python网络爬虫模拟登录爬取绩点（使用requests库）

weixin_39607873的博客

12-03

1665

前言：随说学校教务提供API读取成绩，但获得权限要申请。正好刚刚学习爬虫就自己来一下。折腾了两天看了无数的教程。犯下了无数傻瓜的错误(下面会说到。折磨的我不要不要的)废话不说了先上代码import requestsimport sysreload(sys)sys.setdefaultencoding('utf8')hea = {'User-Agent':'Mozilla/5.0 (Windows ...

Python爬虫——爬取搜狗影视热门电视剧!无聊就追剧吧！

爬遍所有网站

12-22

1593

1.结果图 2.这次爬取的网址请点击传送门搜狗影视热门电视剧 3.先构建请求头，请求头直接复制过来 4.接下来先请求这条url，通过format方法实现对url的拼接，以达到翻页的效果，通过查看接口内容，发现是js格式，热门电视剧的信息存储在’class’:'add-list-1’中 5.将数据存储为文件（json/xls） 1.worksheet.write(0,i,title[i])中 —0表示行 —i表示...

6 条评论您还未登录，请先登录后发表或查看评论

Python爬虫处理JS翻页的一种方法，利用Ajax异步请求

qq_37230733的博客

10-18

4640

前端方面知识不是很好，只是想解决有关Python爬虫翻页的问题 =。= 如有不对，还望指正浏览器：Google 利用局部更新这种翻页的方式，同样需要进行一个url请求，因此我们的目的就是找到这个url 1.分析如图所示，页面翻页采用了JS的方法 2.寻找翻页请求的url地址 1)按下谷歌浏览器F12键或右键点击检查 2)点击Network选项 3)点击下一页或某个...

Python爬虫详解：原理、常用库与实战案例！

最新发布

m0_75067629的博客

05-12

2688

爬虫是门很有意思的技术，可以通过爬虫技术获取一些别人拿不到或者需要付费才能拿到的东西，也可以对大量数据进行自动爬取和保存，减少时间和精力去手动做一些累活。

python爬虫翻页功能循环_Python爬虫实现JS写的翻页

weixin_35900054的博客

02-21

1428

目标网站：http://beijing.chineseoffice.com.cn/Template/office_complete.html当查看网页源码时，没有各楼信息，实际写在JS里，包括翻页功能。Chrome的developer tool查看网络包信息：上代码：url = "http://beijing.chineseoffice.com.cn/Building/GetbuildingLi...

python 获取网页表格数据_Python篇：Requests获取网页源码（爬虫基础）

weixin_39968995的博客

11-23

1829

1 下载与安装见其他教程。2 Requsts简介Requests is an Apache2 Licensed HTTP library, written inPython, for human beings.Python’s standard urllib2 module provides most ofthe HTTP capabilities you need, but the API is...

python爬取jsp网页_Python 爬取热词并进行分类数据分析-[JSP演示+页面跳转]

weixin_39735166的博客

12-03

1137

日期：2020.02.03博客期：142星期一【本博客的代码如若要使用，请在下方评论区留言，之后再用(就是跟我说一声)】所有相关跳转：a.【简单准备】c.【拓扑数据】d.【数据修复】f.【JSP演示+页面跳转】(本期博客)i . 【App制作】j . 【安全性改造】今天开始准备把昨天的任务补一下，再补充一下以前的博客。1、全部热词演示页面改写我追加了其他页的展示和页面跳转部分js内容附加新增代码：...

python爬虫——爬取搜狗影视热门电视剧

qq_43965508的博客

12-21

1621

网络爬虫——python爬取豆瓣评论

qq_36128101的博客

03-09

6642

网络爬虫，又被称为网络蜘蛛（Web Spider）、网络机器人等。它根据网页地址（URL）爬取网页内容，网页地址（URL）就是我们在浏览器中输入的网站链接。例如：https://www.baidu.com；网络爬虫不仅能够复制网页信息和下载音视频，还可以做到网站的模拟登录和行为链执行。由于需要爬取的网站大多需要先登录才能正常访问，或者需要登录后的cookie值才能继续爬取，所以需要对网站模拟登录。有些网站设置了Referer防盗链，所以需要执行网页浏览行为链。

python抓取文献关键信息,python爬虫——使用selenium爬取知网文献相关信息

weixin_39623355的博客

03-26

4462

python爬虫——使用selenium爬取知网文献相关信息写在前面：本文章限于交流讨论，请不要使用文章的代码去攻击别人的服务器如侵权联系作者删除文中的错误已经修改过来了，谢谢各位爬友指出错误在你复制本文章代码去运行的时候，请设置延迟，给自己留一条后路转载请注明来源，谢谢1. 先看爬取的效果2.知网的反爬虫手段很强，反正我爬取pc端的时候，用selenium爬取获取不到源代码，真是气人，后来换成手...

python xpath循环_用python爬虫，获取旅游攻略

weixin_39589253的博客

12-09

348

今天教大家获取穷游网的城市信息，使用Python将数据写入csv文档。01涉及的网址和库1、网址如下：https://place.qyer.com/south-korea/citylist-0-0-{}2、涉及的库：requests、lxml、fake_useragent、time、csv02项目分析首先需要解决如何对下一页的网址进行请求的问题。可以点击下一页的按钮，观察...

爬虫jsp获取网页源码

04-28

在jsp页面文本框中输入数据，根据输入的指定网址，在页面中获取到源码，或者直接根据网址显示网页

万能js实现翻页，动态生成内容自动翻页，兼容各种浏览器（已测试）

02-10

运用js动态填写输入内容，生成内容条实现翻页。

Jsp抓取页面内容

05-28

jsp代码获取页面数据。可在tomcat中进行测试。

python爬虫案例_Python法律实务应用——制作爬虫获取指导案例

weixin_39640085的博客

12-20

1186

hi，大家好，我是虞元坚律师。爬虫技术，是python的一个重要应用领域，也是互联网技术中非常常见的一项技术。我之前已经写过很多有关爬虫的文章，但是大多数都是关于爬虫技术涉及的法律问题方面。今天，我就有针对性的来讲一讲，如何利用Python制作我们的爬虫工具，并且自动化搜集信息。为了不耽误大家时间，我先提前总结下本文主要面向的对象和会使用的知识。适用对象：已经有一定入门知识的Python...

python爬虫jsp网页_这种jsp网站怎么爬虫？

weixin_39521651的博客

11-25

1017

是通过这个URL加载的数据参数如下：curl 'http://cdi.chinaratings.com.cn/smartbi/vision/RMIServlet' -H 'Cookie: JSESSIONID=DA711088E94304CAEE335B698E712F40; _ga=GA1.4.1714100648.1515147029; _gid=GA1.4.190072792.1515147...

python3 selenium + fiddler 爬取动态js页面数据

caibaozhuo7024的博客

08-01

670

一、分析：抓取动态页面js加载的人民日报里面的新闻详情 https://wap.peopleapp.com/news/1先打开，然后查看网页源码，发现是一堆js，并没有具体的每个新闻的url详情，于是第一反应，肯定是js动态加载拼接的url。然后接着按f12 查看，就看url，发现出来了好多url。然后点击具体的某一个新闻详情页面，查看url，把这个url的后面两个数字其中一个拿到访问主页的...

python网页自动点按钮_Python+Selenium使用（二）- 自动点击下一页

weixin_39950470的博客

12-10

1186

继续上一篇：橘猫吃不胖：Python+Selenium使用(一)zhuanlan.zhihu.com上一篇，获取了百度搜索后的结果页面，但是搜索结果又很多页，这里就获取下一页按钮，并点击它。现在浏览器上，找到下一页按钮：btn = driver.find_element_by_css_selector('div.page-inner > a.n')print(btn.get_propert...

基于selenium模拟浏览器爬虫JS-frame，搜索+爬取详情页+翻页

weixin_50674661的博客

03-25

1476

基于selenium模拟浏览器爬虫JS-frame网站课设中需要爬一个很神奇的网站Web Gallery，一开始看结构以为是很简单的那种，开始爬的时候才发现它的结构之奇葩……所有东西都集成在一个html页面里，css和js都没有单独分文件，古早得像是十年前的架构，但偏偏全部的数据响应都是在script里完成的，没有对应域名，刷新即会回到index页面，甚至当我发现它能整个html里不存在一个id的时候真的要吐了…… 于是一开始用Scrapy捕捉静态完全失败，好在重新学了一下selenium模拟浏览器爬成功

爬虫怎么爬取使用js实现翻页的网页

05-30

爬取使用js实现翻页的网页，可以通过模拟浏览器的方式来实现。具体可以参考以下步骤： 1. 使用Python中的Selenium库，打开网页并模拟浏览器操作。 2. 找到翻页的按钮或者链接，通过Selenium模拟点击或者触发翻页事件。 3. 等待翻页后的内容加载完成，使用Selenium获取页面源代码。 4. 解析页面源代码，提取所需的内容。 5. 重复步骤2-4，直到爬取完所有需要的内容为止。需要注意的是，为了避免被反爬机制封禁，可以通过设置请求头，使用代理IP等方式来降低被封禁的风险。同时，需要遵守网站的爬虫协议，不要对网站进行恶意爬取。