Python爬虫学习，记一次抓包获取js，从js函数中取数据的过程

最新推荐文章于 2024-07-19 15:15:46 发布
最新推荐文章于 2024-07-19 15:15:46 发布
阅读量4.8k 收藏 3
点赞数
分类专栏： python爬虫 文章标签： python爬虫 python python学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/programmer_yf/article/details/82505124
版权
本文介绍了如何使用Python爬虫抓取新浪新闻页面中由JS加载且隐藏在函数内的数据。通过分析请求，发现数据存在于js函数的参数中，经过格式化后，使用正则表达式匹配出URL、标题和简介，再通过处理Unicode编码获取实际内容。通过这种方法，成功实现了对多页新闻数据的抓取。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

昨天有小伙伴找我，新浪新闻的国内新闻页，其他部分都是静态网页可以抓到，但是在左下方的最新新闻部分，不是静态网页，也没有json数据，让我帮忙抓一下。大概看了下，是js加载的，而且数据在js函数中，很有意思，就分享出来给大家一起看看！

抓取目标

Python爬虫学习，记一次抓包获取js，从js函数中取数据的过程

今天我们的目标是上图红框部分，首先我们确定这部分内容不在网页源代码中，属于js加载的部分，点击翻页后也没有json数据传输！

Python爬虫学习，记一次抓包获取js，从js函数中取数据的过程

但是发现有个js的请求，点击请求，是一行js函数代码，我们将其复制到json的视图查看器中，然后格式化一下，看看结果

最低0.47元/天 解锁文章
Python爬虫实战：使用Selenium爬取动态加载网页（JavaScript渲染）
2201_76125261的博客
03-09 1350
带来了极大的挑战。传统的爬虫工具只能抓取网页的静态 HTML 内容，但如果网页的数据是通过 JavaScript 动态生成的，作为一款强大的自动化测试工具，可以通过模拟浏览器的行为，加载和解析动态网页，从而实现对 JavaScript 渲染内容的抓取。在这篇博客中，我将详细介绍如何使用 Python 的 Selenium 模块来抓取动态加载的网页。Selenium 需要与浏览器交互，因此需要安装相应的浏览器驱动。在网络爬虫领域，许多现代网页都使用 JavaScript 动态渲染内容，这给传统的爬虫（如。
JavaScript中常用的网络抓包工具
debug_bug142的博客
09-26 379
在前端开发中，网络抓包工具是非常重要的工具之一。它们可以帮助开发人员分析和监控网络请求，捕获请求和响应的信息，并进行进一步的处理和调试。根据具体的需求和场景，你可以选择合适的工具来使用。当请求完成并且响应状态码为200（表示成功）时，我们输出响应的内容。中，我们检查响应的状态码，如果响应成功（状态码为200-299），我们使用。在这个示例中，我们创建了一个XMLHttpRequest对象，并通过。中，我们输出响应的内容。在这个示例中，我们使用Axios的。中，我们输出响应的数据（在这个示例中，我们使用。
html、js页面抓包工具
05-14
通过抓包工具，可以查找到前端服务与后端的数据交互情况，便于开发人员进行问题定位。
爬虫之 JS（返回非 json 数据）的爬取
小木的博客
05-08 3318
爬虫之 JS（返回非 json 数据）的爬取 写在前面的话： 查资料，看到常用浏览器的 user-agent 参考对照表，因为之前爬取百度文库的时候用到手机的请求头，所以就想把这些所有请求头爬下来，结果遇到一系列问题，进而解决，从而记录下来。 一. 爬取内容 常用浏览器(PC,移动)的 user-agent 简介：该对照表整理了时下流行的浏览器User-Agent大全，User Agent也简称...
Python网络数据采集10：采集JavaScript
Just for fun的专栏
12-29 700
客户端脚本语言是运行在浏览器而非服务器上的语言。客户端语言成功的前提是浏览器拥有正确地解释和执行这类语言的能力。     在一定程度上，由于很难让所有浏览器开发商都认可同一个标准，所以客户端语言比服务器端语言要少很多。     通常，你在网上遇到的客户端语言只有两种：ActionScript（开发Flash应用的语言）和JavaScript。今天ActionScript的使用率比10年前低很多
JS实现网页抓包-拦截、请求托管以及修改响应数据
q145p152的博客
10-03 7022
什么是抓包：抓包就是抓取网络请求，将请求一直挂在到我们写的中间件中，在中间件统一修改后完成本次请求，俗称请求托管闲着没事本篇文章用js给大家手写一个抓包工具，配合油猴脚本嵌入各大网站，仅供学习参考、本地测试，切勿实施违法行为，现成脚本代码在最后，老规矩先看图脚本图一目了然，脚本也是我之前自己写的，大家拿去用即可抓包的作用有哪些？1、拦截请求，修改请求体，篡改一些我们无法手动更改请求信息2、拦截响应，修改响应体，对无防御无加密式网站可以造成一定影响，比如解锁一些功能。
从零开始学python（十三）爬虫工程师自动化和抓包
ch950401的博客
07-31 2861
1.跟我一起从零开始学python（一）编程语法必修2.跟我一起从零开始学python（二）网络编程3.跟我一起从零开始学python（三）多线程/多进程/协程4.跟我一起从零开始学python（四）数据库编程：MySQL数据库5.跟我一起从零开始学python（五）数据库编程：Redis数据库6.跟我一起从零开始学python（六）数据库编程：MongoDB数据库7.跟我一起从零开始学python（七）机器学习8.跟我一起从零开始学python（八）全栈开发。
python爬虫解析js_python爬虫解析js
weixin_39602637的博客
11-29 865
广告关闭腾讯云11.11云上盛惠 ，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高返5000元！location.href = localstorage.getitem(url) || :toast(e.msg || 登录出错) }) }) : toast(e.msg) }) }从代码中我们知道:我们要登录需要对密码进行加密和获取rkey字段的值rkey字段的值我们直接发送请求...
python爬取js反爬网页_Python爬虫之js反反爬虫实例教程
weixin_39973416的博客
11-30 809
今天给你分享一下篇反反爬的实例。一个思路，也许给你带来些许启发..也许你会遇到这样的请款：打开某个网站，可以看到页面是正常显示的，但是当你通过 Python去请求的时候，你会得到一堆无厘头的 JS..像这样的操作，应该怎么玩呢？接下来由【小帅b的朋友：lin】给大家演示一下。当你使用 requests 请求的时候，得到的是这样的：Python爬虫js逆向这时候就要看看是不是用啥了，是不是协议头问题...
Fiddler抓包过滤没用的js等地址
最新发布
qq_42161594的博客
07-19 490
1、如上图所示 在Filter页面中勾选Hide if URL contains；2、使Filters设置生效。
如何用六步教会你使用python爬虫爬取数据
热门推荐
m0_59162248的博客
02-22 3万+
用python的爬虫爬取数据真的很简单，只要掌握这六步就好，也不复杂。以前还以为爬虫很难，结果一上手，从初学到把东西爬下来，一个小时都不到就解决了。到此这篇关于如何用六步教会你使用python爬虫爬取数据的文章就介绍到这了,更多相关python爬虫爬取数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！如果对Python感兴趣的话，可以试试我的学习方法以及相关的学习资料需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】。
python爬取网页链接和静态文件链接_Python抓取静态网页内容
weixin_39788382的博客
12-01 492
作者：音子，微信公众号：自在不思量，转载请注明出处。断断续续学了Python一年左右，依然处在入门阶段……对于大部分人来说，XXX从入门到精通，学着学着都变成了XXX从入门到放弃，我可能也是这个结局……但不希望是现在。所以，开始我的第一个小小小项目——用Python抓取静态网页内容。(也不知道能不能称之为一个项目)网页我选了自己之前发的一篇公众号文章：送给自己的负能量段子​mp.weixin.qq...
Python爬虫js处理
ZHH_Love123的博客
03-31 1121
一、jquery发送ajax请求格式 """ 形式：$.ajax({name:val, name:val,...}); 可选字段： 1）url：链接地址，字符串表示 2）data：需发送到服务器的数据，GET与POST都可以，格式为{A: '...', B: '...'} 3）type："POST" 或 "GET"，请求类型 4）timeout：请求超时时间，单位为毫秒，数值表示 5）cach...
Python 爬虫：获取 JS 动态内容—，大厂Python研发岗面试复盘
m0_56169789的博客
03-22 1880
这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。
Python 如何调用 JS 呢
hdxx2022的博客
03-07 1000
3. 方式一：PyExecJSPyExecJS 是使用最多的一种方式，底层实现方式是：在本地 JS 环境下运行 JS 代码支持的 JS 环境包含：Node.js、PyV8、PhantomJS、Nashorn 等首先，我们需要安装依赖包 PyExecJS。4. 方式二：js2pyjs2py作为一个纯 Python 实现的 JS 解释器，可以完全脱离 JS 环境，直接将 JS 代码转换为 Python 代码首先，安装依赖库。需要注意是，如果 JS 是很长的混淆代码，转换为 Python 的过程可能会报错。
python实现调用js并获取参数
qq_33479841的博客
03-23 7178
最近接到一个小项目，用python实现一些底层接口，完成数据获取与数据封装，其实本来也不难，其中有一块是要利用python实现获取一个加密签名，再传到第三方接口，获取token，其中它的前端加密算法中有一个是利用crypto.js进行一些列加密，这样其实比较难搞。于是便想利用python来实现调用js生成加密签名，再进行结果回传，查询了一些方案并进行实施，最终获得了想要的结果，特此分享出来。 1....
python爬取js数据_python如何爬取js生成的数据？
weixin_36452340的博客
02-21 1312
回答中有童鞋说到了分析接口，直接爬接口，这是可行的，并且直接爬接口还不需要自己解析HTML了，因为大部分接口返回的都是json，想想都觉得开心呀~不过还是有别的方法，例如使用Phantomjs，简单易用，Python并非全能，搭配其他工具会发挥更大的价值，我自己也有一些小项目是这样的组合。这是官方的一个实例代码，稍加改造就可以达成目的了。console.log('Loading a web pag...
全面掌握Python爬虫：浏览器与APP抓包教程
首先，本教程系列将介绍Python编程的基础知识，包括Python语法、数据类型、流程控制、函数和模块等，为后续学习Python爬虫打下坚实的基础。在了解Python基础后，教程将逐步深入到爬虫技术的具体实现，包括使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值