爬虫---webpack打包---36氪

[完整爬虫]java爬虫基础对36Kr快讯数据进行爬取以及数据筛选过滤 36Kr 也叫36氪,是一个我非常喜欢的网站,网罗天下资讯,而且页面整洁资讯一目了然,极大的开拓眼界,许多不管是金融方面科技方面我感觉是最新最全面,当然最终是准备爬取一下上面的资讯,当然是不会对对方服务器造成压力的情况下进行的爬取. 阅读详情

本案例仅供学习和参考,不作商用

定位我就直接略过了,因为本案例的重点不在定位,而是webpack打包

1,看到这个代码就得猜了,去猜是不是webpack ,因为这里有一个n函数

2,把代码扣下来

3,根据报错提示,需要进到这个n的函数里面去

4,进到后观察是否是webpack的结构

5,确认是webpack后,什么都别说,直接全拿,整个文件直接全部拿下来

6,然后将加载器导出变成全局变量

7,运行后看报错信息,看到这个报错信息无非就两个原因,一个是undefine,一个是函数不存在

8,我们打上日志,可以看到报了一个431的错误

9,我看代码后,看到这个e也就是存储模块的对象或者列表被赋值给了n.m因为

因此我需要在浏览器里面的控制打印n.m[431],这个能理解吧

10,之后,需要点进这个被打印出的模块的位置

11,把代码收缩起来,全部拿下来

12,最后将模块放进模块组里面去

13,运行代码看结果,这就已经成功了

14,但是呢,我扣下来的代码有很多,如果需要爬取大量的数据的话,会比较慢,所以需要根据webpack的底层代码将代码量进行缩减

15,减掉不需要的代码后,测试一下依然能运行

16 ,我删代码的方法是通过这个加载器里面是否用到了,没有用到就直接去掉,核心逻辑还是要熟悉webpack的核心代码

看到这里的小伙伴,希望这个案例对你有所帮助,只求能有一个免费的赞来鼓励一下我这颗想继续创作的心

这个是webpack的核心代码

!(function(e){ // 将对象传进来
    // 加载器
    function n(t){  // 这个t就变成0了
        return e[t].call()  // 从列表的0索引位置取出来调用
    }

    n("bb")  // 根据需要调用的模块传入这个模块在列表的中的索引
})(
    {   // 对象插件
        "aa":function(){
            console.log("webpack打包方式一")
            },
        "bb":function(){
            console.log("webpack打包方式2")
        }
    }
)

逆向Webpack加密站点:从定位到补环境的爬虫实战解析 在Web开发中,Webpack作为主流的模块打包工具,通过代码拆分、混淆和加密,有效提升了前端应用的安全性和性能。其核心原理是将众多模块及其依赖关系打包成静态资源,并利用运行时加载机制(如__webpack_require__)进行管理。这一技术价值在于保护了核心业务逻辑和敏感数据,防止被轻易分析和爬取,广泛应用于金融、电商等高安全要求场景。当面对采用Webpack打包并实施运行时加密的站点时,传统的直接解析JSON的爬虫方法往往失效。本文以某金融资讯网站为例,深入剖析了如何通过识别Webpack特征、定位 阅读详情

相关推荐

猿人学web端爬虫攻防大赛赛题解析_第十六题:webpack初体验

webpack初体验一、前言二、逆向过程三、代码实现三、结语 一、前言 webpack算是逆向过程中比较常出现的一种加密方式了,本质上是将网页源代码打包进JavaScript ,并对其进行压缩,如果不对其进行其他混淆操作的话还是很好还原的。第十六题虽然标的是简单级别,但对于新手来说,也有一些坑,不注意就会踩到,找不对方法真是头皮要想破。话不多说,开整 二、逆向过程 这题还是老样子,先观察XHR请求,发现有两个加密参数,一个m很明显是主要加密参数,t则看起来是个时间戳: 跟着请求的调用栈,找一下这个api请

仙路尽头谁为峰 3991

python爬虫 - 爬取html中的script数据(36kr.com新闻信息)

python爬虫 - 爬取html中的script数据(36kr.com新闻信息) 1. 分析页面内容数据格式 2. 使用re.findall方法,爬取新闻 3. 使用re.search 方法,爬取新闻

BullKing8185的博客 1439

【js逆向实战】QQ音乐sign参数加密与webpack模块智能提取解析

本文详细解析了QQ音乐Web端sign参数的JS逆向实战过程。通过抓包定位、XHR断点分析,精准找到加密函数位于Webpack模块中,并重点介绍了使用智能导出工具高效提取目标模块的方法,最终实现本地复现加密算法,为爬虫开发者提供了一套通用的Webpack站点逆向解决方案。

weixin_29001655的博客 1218

AI新闻爬虫:传统爬虫和XHR异步加密爬虫的碰撞

AI的发展日新月异,及时掌握一些AI的消息和妹子聊天时也不至于词穷(不建议和妹子聊技术)。所以这里就以36氪和虎嗅网为例,来讲一下如何爬取AI新闻消息以及数据整合。36氪和虎嗅网这两个网站新闻爬虫比较具有代表性,36氪是传统的html网页爬虫,虎嗅网是异步api加载加密的爬虫,这里就从简单的36氪讲起。这就是我使用爬虫爬取AI新闻的过程,使用了两个爬虫中比较常见的典型案例。像这种类别信息的采集,还有更优的程序设计架构。

CatchLight的博客 1309

36氪详情页AES

对html中AES加密的内容还原。

李玺 1498

Python爬虫终极指南:以36氪资讯为例,从零构建高性能异步爬虫

await page.goto('https://36kr.com/newsflashes', wait_until='networkidle') # wait_until='networkidle' 等待网络空闲,确保JS加载完成。'$setOnInsert': {'published_at': news.get('published_at')}, # 发布时间只在创建时设置。Python爬虫,aiohttp,httpx,Playwright,异步IO,反爬虫,数据解析,MongoDB,36氪。

2201_76125261的博客 1159

JS逆向之Webpack打包方式(实战案例)

本文讲webpack打包方式,可以对代码进行分割,按需加载模块,提高爬虫性能。

m0_64408930的博客 2万+

Webpack 打包技术及逆向数据分析研究

Webpack 作为一款强大的模块打包工具应运而生,它能够将多个模块打包成一个或多个文件,有效解决了模块间的依赖关系、文件过多导致的性能问题等,大大提升了项目的开发效率和性能表现。然而,单文件打包也存在明显的缺点,随着项目规模的扩大,打包后的文件体积会变得非常大,加载时间会显著增加,这会严重影响用户体验。例如,在一个大型的 Web 应用中,可以将不同的业务逻辑封装成独立的模块,当需要修改某个功能时,只需要修改对应的模块即可,不会影响到其他模块。同时,要注意代码还原的准确性,避免引入新的错误。

ylfhpy的博客 1415

22-webpack案例:36kr

本文讲述webpack案例

2502_92363190的博客 957

py每日spider案例之某36 ke登录接口(webpack 难度一般)

loader模块请自行补充。

我不是码农的博客~~~ 1235

爬取新闻网站新闻列表的python程序

本程序可以爬取新闻网站的新闻列表,本代码以中国地质大学(武汉)官网为例,如果需要更换,可以直接更换baseURL,然后打开控制台分析代码结构,适当修改即可。

初识webpack

Webpack 是一个。它将应用程序中各种类型的文件(模块)转换为一个或多个适合浏览器加载的优化捆绑包。

qq_51862630的博客 652

36krCrawler:采集36氪上所有帖子数据的爬虫,可采集后供数据分析的人测试使用

36krCrawler 采集36氪上所有帖子数据的爬虫,可采集后供数据分析的人测试使用。 运行mainClass即可。 采集的数据会放到data文件,目前有四个字段。 url#title#author#time#content data文件里是采集好的一批数据,供参考使用。

关于Scrape的webpack逆向

关于Scrape的webpack逆向

2301_79800432的博客 1388

双目立体匹配算法:SGBM

SGBM(Semi-Global Block Matching)是一种用于计算双目视觉中视差(disparity)的半全局匹配算法,在OpenCV中的实现为semi-global block matching(SGBM)。它是基于全局匹配算法和局部匹配算法的优缺点,提出了一种折中的方法,既能保证视差图的质量,又能降低计算复杂度。

weixin_45303602的博客 9403

解锁医疗AI密码:医疗人工智能专业大学四年学习路径

医疗AI人才培养路径解析 本文系统梳理了医疗人工智能专业四年培养方案,分为基础、进阶、应用和拓展四个阶段: 大一聚焦基础学科,涵盖高等数学、医学概论、Python编程等核心课程,辅以医学数据认知实习。大二深入机器学习和医学数据处理领域,学习监督/无监督学习算法及医学影像分析技术。大三进入深度学习阶段,掌握CNN/RNN等神经网络模型,并实践医疗AI应用开发。大四关注前沿技术如大模型在医疗中的应用,完成毕业设计与企业实习。 课程体系强调医工交叉,每学期均配置实践环节,从基础编程到参与真实医疗AI项目,逐步培养

AllenLV的博客 2500

js逆向 webpack_JS逆向:Webpack打包后的代码怎么搞?猿人学爬虫比赛第十六题详细题解...

抓包分析地址栏输入 地址,按下F12并回车,发现数据在这里: 查看cookie,无加密相关的字段。请求的接口倒是有个m的加密参数,看来这题的主要目的就是看看m参数怎么进行加密的吧。切换 Initiator,这请求也太明显了,点击下面所示的js文件: 跟进去并美化后,来到这里: 不用过多分析,m加密在这里:1. r.m = n[e(528)](btoa, p_s),2. r.t = p_s;而...

weixin_30497687的博客 633

强化学习环境Gym库的介绍

Gym是一个用于进行强化学习实验的开源库,它提供了一个仿真环境,内置了多种仿真游戏,例如出租车游戏、悬崖游戏等,不同的游戏所用的网格、规则、奖励(reward)都不一样,适合为强化学习做测试。(1) 多种环境:Gym库内置了上百种实验环境,包括算法环境、简单文本环境、经典控制环境、Atari游戏环境、MuJoCo环境和机械控制环境等。(2) Gym提供多种环境供我们使用,这里以一个简单的CartPole-v0为例,首先导入gym库,然后创建一个CartPole-v0环境,通过调用gym.make方法实现。

ahah12345678的博客 2148

JS逆向实战:从webpack打包代码到Python还原签名参数

JS逆向是爬虫开发中绕过前端参数加密的关键技术。现代网站普遍使用webpack打包工具压缩混淆JavaScript代码,将接口签名逻辑隐藏在模块化结构中。理解webpack的模块加载机制,通过搜索关键字、断点跟栈、日志断点等手段定位签名函数,是复现加密逻辑的核心路径。掌握这些调试技巧,不仅能有效解决请求参数签名错误问题,还能为数据采集、接口分析等场景提供通用方法。基于真实项目,完整演示了从webpack打包代码中提取签名模块,并通过Python实现MD5签名算法,最终打通数据请求全流程,为初学者提供一份可落

weixin_33922672的博客 344

无人驾驶小车调试笔记(六)-- 车轮校准

简介:小车的动力完全来自于两个电机带动的车轮,在理想状态下,给两个电机同样的驱动参数,两个车轮会以同样的转速带动小车直线行驶,而实际情况是每个电机可能都会有个体差异,也就是说给予同样的驱动参数,表现出的转动速度会有些许不同,两个轮子的差速会导致车辆拐弯,后果就是给了直线行驶的控制命令,但是车走着走着就偏离了原本的方向,所以在开始控制之前,我们需要先平衡两个车轮的转速,保证在同样驱动参数下,两个车轮转速大致相同,也就是可以走直线。 车轮校准分为3步,测试、调整后再测试、保存参...

aibingjin的博客 1820

ADS2020与SystemVue2020Update1.0同机安装避坑指南:解决License冲突,实现EVM联合仿真

本文详细介绍了ADS2020与SystemVue2020 Update1.0同机安装的完整解决方案,重点解决License冲突问题,实现EVM联合仿真。通过合理的安装顺序、路径规划和License服务配置,确保两款EDA工具和谐共存,为射频与微波电路设计提供高效仿真环境。

weixin_30271335的博客 347

JS逆向实战:webpack模块定位与签名还原完整教程

在爬虫开发中,接口签名常被webpack打包后的压缩JS代码隐藏,形成一道难以跨越的技术门槛。webpack模块加载器将业务逻辑拆分为多个独立模块,加密函数散落其中,常规静态搜索难以奏效。理解模块加载机制和调用栈原理,是逆向签名算法的关键突破口。通过浏览器DevTools的断点调试与全局搜索,可以快速定位目标签名函数,进而将模块迁移至Node.js环境运行,并针对浏览器特有API进行按需补环境,最终通过subprocess或常驻服务方式供Python调用。这套方法不仅适用于接口签名还原,还能复用于前端加密参

weixin_33907511的博客 439

CLCD 中国生命周期基础数据库使用攻略

CLCD 是公共建筑碳排放计算的理想选择,其本地化数据可显著提高计算准确性。

hy行者勇哥的博客 2675

码上爬第十八题【协程+webpack】

本文介绍了逆向分析某网站加密参数的完整流程。首先通过断点调试定位加密函数位置,然后完整提取webpack打包的加密模块,并通过全局加载器调用。接着补全浏览器环境,包括window、document等对象。最后提供JS加密函数get_sign()的实现,通过Python异步爬虫调用JS代码生成加密参数,并成功获取接口数据。整个过程涵盖了逆向分析、环境补全、JS调用等关键技术点。

去码头整点薯条 1128

ZYNQ PS-PL数据交互方式总结

一,中断 二,IO方式:MIO EMIO GPIO 三,BRAM或FIFO或EMIF (1)通过BRAM实现PL/PS之间交互 PS 的配置如下图所示。使能 M_AXI_GP0 口,将 FCLK_CLK0 设为 100MHz,使能 PL 至 PS 的中断。 AXI BRAM Controller IP 核连接 PS 的 M_AXI_GP0 口和 BRAM,完成 AXI 接口至 BRAM 接口的转换。 添加BRAM,将BRAM设置为双口RAM,将PORTA与AXI B...

wangjie36的博客 1万+

11、改进的加权轮询调度算法

本文详细介绍了对传统加权轮询(WRR)调度算法的改进方法,包括动态权重调整、优先级调度和预测机制,旨在提升系统的公平性、响应速度和适应性。通过设计与实现改进算法,并结合实验验证其在响应时间、资源利用率和公平性方面的显著提升,同时列举了该算法在数据中心、云服务平台、CDN及电商平台等实际场景中的应用案例。

day7的博客 190
上一篇: 爬虫逆向----xhr断点定位:36氪网的加密参数mobileNo 和 password
下一篇: js逆向-----webpack打包
interception
博客等级 码龄1年 117粉丝 42原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值