Python爬虫学习，记一次抓包获取js，从js函数中取数据的过程

最新推荐文章于 2025-10-14 09:07:59 发布
原创 最新推荐文章于 2025-10-14 09:07:59 发布 · 4.8k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python爬虫 #python #python学习

本文介绍了如何使用Python爬虫抓取新浪新闻页面中由JS加载且隐藏在函数内的数据。通过分析请求，发现数据存在于js函数的参数中，经过格式化后，使用正则表达式匹配出URL、标题和简介，再通过处理Unicode编码获取实际内容。通过这种方法，成功实现了对多页新闻数据的抓取。

昨天有小伙伴找我，新浪新闻的国内新闻页，其他部分都是静态网页可以抓到，但是在左下方的最新新闻部分，不是静态网页，也没有json数据，让我帮忙抓一下。大概看了下，是js加载的，而且数据在js函数中，很有意思，就分享出来给大家一起看看！

抓取目标

Python爬虫学习，记一次抓包获取js，从js函数中取数据的过程

今天我们的目标是上图红框部分，首先我们确定这部分内容不在网页源代码中，属于js加载的部分，点击翻页后也没有json数据传输！

Python爬虫学习，记一次抓包获取js，从js函数中取数据的过程

但是发现有个js的请求，点击请求，是一行js函数代码，我们将其复制到json的视图查看器中，然后格式化一下，看看结果

Python爬虫学习，记一次抓包获取js，从js函数中取数据的过程

最低0.47元/天 解锁文章
JavaScript中常用的网络抓包工具
debug_bug142的博客
09-26 512
在前端开发中，网络抓包工具是非常重要的工具之一。它们可以帮助开发人员分析和监控网络请求，捕获请求和响应的信息，并进行进一步的处理和调试。根据具体的需求和场景，你可以选择合适的工具来使用。当请求完成并且响应状态码为200（表示成功）时，我们输出响应的内容。中，我们检查响应的状态码，如果响应成功（状态码为200-299），我们使用。在这个示例中，我们创建了一个XMLHttpRequest对象，并通过。中，我们输出响应的内容。在这个示例中，我们使用Axios的。中，我们输出响应的数据（在这个示例中，我们使用。
爬虫之 JS（返回非 json 数据）的爬取
小木的博客
05-08 3385
爬虫之 JS（返回非 json 数据）的爬取 写在前面的话： 查资料，看到常用浏览器的 user-agent 参考对照表，因为之前爬取百度文库的时候用到手机的请求头，所以就想把这些所有请求头爬下来，结果遇到一系列问题，进而解决，从而记录下来。 一. 爬取内容 常用浏览器(PC,移动)的 user-agent 简介：该对照表整理了时下流行的浏览器User-Agent大全，User Agent也简称...
Python爬虫-调用JS代码的多种方法
最新发布
Datafox（数据狐199-7010-8018）
10-14 938
本文总结了Python爬虫调用JS代码的三种主要方法：1.纯Python解释器方案（js2py、PyExecJS），适合简单加密和复杂加密场景；2.浏览器自动化工具（Playwright、Selenium），适用于动态渲染页面；3.混合调用方案（Node.js子进程、PyMiniRacer），适合特定环境需求。针对不同场景给出了选择建议：简单加密优先js2py，动态渲染推荐Playwright或Selenium，复杂混淆适用PyExecJS+Node.js环境。
html、js页面抓包工具
05-14
通过抓包工具，可以查找到前端服务与后端的数据交互情况，便于开发人员进行问题定位。
Python网络数据采集10：采集JavaScript
Just for fun的专栏
12-29 723
客户端脚本语言是运行在浏览器而非服务器上的语言。客户端语言成功的前提是浏览器拥有正确地解释和执行这类语言的能力。     在一定程度上，由于很难让所有浏览器开发商都认可同一个标准，所以客户端语言比服务器端语言要少很多。     通常，你在网上遇到的客户端语言只有两种：ActionScript（开发Flash应用的语言）和JavaScript。今天ActionScript的使用率比10年前低很多
JS实现网页抓包-拦截、请求托管以及修改响应数据
q145p152的博客
10-03 7791
什么是抓包：抓包就是抓取网络请求，将请求一直挂在到我们写的中间件中，在中间件统一修改后完成本次请求，俗称请求托管闲着没事本篇文章用js给大家手写一个抓包工具，配合油猴脚本嵌入各大网站，仅供学习参考、本地测试，切勿实施违法行为，现成脚本代码在最后，老规矩先看图脚本图一目了然，脚本也是我之前自己写的，大家拿去用即可抓包的作用有哪些？1、拦截请求，修改请求体，篡改一些我们无法手动更改请求信息2、拦截响应，修改响应体，对无防御无加密式网站可以造成一定影响，比如解锁一些功能。
【Python爬虫全栈学习路径】从零基础到高级爬虫工程师的完整指南
qq_65622609的博客
08-23 1405
本文系统介绍了Python爬虫的学习路径，分为五个阶段：从基础语法、网络原理到Requests库和BeautifulSoup解析；进阶学习动态网页处理、反爬对策和Scrapy框架；最后深入分布式爬虫、大数据处理等高级内容。提供了豆瓣电影、微博热搜等实战项目案例，推荐了相关书籍和工具，并强调遵守robots协议等法律规范。建议循序渐进学习，注重实践与源码阅读，培养完整的爬虫开发能力。
从零开始学python（十三）爬虫工程师自动化和抓包
ch950401的博客
07-31 2939
1.跟我一起从零开始学python（一）编程语法必修2.跟我一起从零开始学python（二）网络编程3.跟我一起从零开始学python（三）多线程/多进程/协程4.跟我一起从零开始学python（四）数据库编程：MySQL数据库5.跟我一起从零开始学python（五）数据库编程：Redis数据库6.跟我一起从零开始学python（六）数据库编程：MongoDB数据库7.跟我一起从零开始学python（七）机器学习8.跟我一起从零开始学python（八）全栈开发。
python爬取js反爬网页_Python爬虫之js反反爬虫实例教程
weixin_39973416的博客
11-30 828
今天给你分享一下篇反反爬的实例。一个思路，也许给你带来些许启发..也许你会遇到这样的请款：打开某个网站，可以看到页面是正常显示的，但是当你通过 Python去请求的时候，你会得到一堆无厘头的 JS..像这样的操作，应该怎么玩呢？接下来由【小帅b的朋友：lin】给大家演示一下。当你使用 requests 请求的时候，得到的是这样的：Python爬虫js逆向这时候就要看看是不是用啥了，是不是协议头问题...
Fiddler抓包过滤没用的js等地址
qq_42161594的博客
07-19 590
1、如上图所示 在Filter页面中勾选Hide if URL contains；2、使Filters设置生效。
如何用六步教会你使用python爬虫爬取数据
热门推荐
m0_59162248的博客
02-22 3万+
用python的爬虫爬取数据真的很简单，只要掌握这六步就好，也不复杂。以前还以为爬虫很难，结果一上手，从初学到把东西爬下来，一个小时都不到就解决了。到此这篇关于如何用六步教会你使用python爬虫爬取数据的文章就介绍到这了,更多相关python爬虫爬取数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！如果对Python感兴趣的话，可以试试我的学习方法以及相关的学习资料需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】。
python爬取网页链接和静态文件链接_Python抓取静态网页内容
weixin_39788382的博客
12-01 514
作者：音子，微信公众号：自在不思量，转载请注明出处。断断续续学了Python一年左右，依然处在入门阶段……对于大部分人来说，XXX从入门到精通，学着学着都变成了XXX从入门到放弃，我可能也是这个结局……但不希望是现在。所以，开始我的第一个小小小项目——用Python抓取静态网页内容。(也不知道能不能称之为一个项目)网页我选了自己之前发的一篇公众号文章：送给自己的负能量段子​mp.weixin.qq...
Python爬虫js处理
ZHH_Love123的博客
03-31 1155
一、jquery发送ajax请求格式 """ 形式：$.ajax({name:val, name:val,...}); 可选字段： 1）url：链接地址，字符串表示 2）data：需发送到服务器的数据，GET与POST都可以，格式为{A: '...', B: '...'} 3）type："POST" 或 "GET"，请求类型 4）timeout：请求超时时间，单位为毫秒，数值表示 5）cach...
scrapy定制爬虫-爬取javascript内容
weixin_44353800的博客
05-04 1599
在写代码模拟相关js逻辑时,首先试下关闭浏览器的js,看下是否能获取到需要的东西.有些页面提供了没有js的兼容.不行再开chrome的控制台或firebug观察js逻辑,可能是ajax这类收发包.用urllib2(推荐requests库)模拟即可,也可能是修改dom之类,用lxml这类对应修改即可.说来就是js执行了什么,就用python代码对应模拟执行.除此之外框架的其他部分.都是异步的,简单说来就是,爬虫生成的请求交由调度器去下载,然后爬虫继续执行.调度器完成下载后会将响应交由爬虫解析.
某项目前端js抓包解密
m0_67105288的博客
02-21 2774
js抓包解密
JavaScript抓包实例(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
10-29 253
JavaScript抓包实例(附完整源码)
【接口测试】Chrome浏览器F12调试工具抓包详细分析（超细）
m0_70102063的博客
09-27 6605
调试时使用最多的功能页面是：元素（ELements）、控制台（Console）、源代码（Sources）、网络（Network）等。元素（Elements）：用于查看或修改HTML元素的属性、CSS属性、监听事件、断点（DOM断点：在JavaScript调试中，我们经常使用到断点调试，其实在DOM结构的调试中，我们也可以使用断点方法，这就是DOM Breakpoint（DOM 断点））控制台（Console）：控制台一般用于执行一次性代码，查看JavaScript对象，查看调试日志信息或异常信息。
全面掌握Python爬虫：浏览器与APP抓包教程
首先，本教程系列将介绍Python编程的基础知识，包括Python语法、数据类型、流程控制、函数和模块等，为后续学习Python爬虫打下坚实的基础。在了解Python基础后，教程将逐步深入到爬虫技术的具体实现，包括使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值