【学习心得】爬虫逆向的小技巧小知识(持续更新)

爬虫技术之食物链顶端——逆向 一、爬虫引言 距离最近一次博客的更新,已经快半年了。这么久一直没写博客,是因为最近半年在跟几个小伙伴打造一个tiktok的数据平台,乐不思蜀。今天抽空特意记录分享一下我认为的爬虫技术的顶端——逆向。这里的逆向主要是指app逆向,这里的app逆向又主要是指安卓的。至于原因,咱们待会聊。 再次回归到爬虫技术,一方面是因为,在这信息爆炸的时代,信息的抽取、分析和总结是一项非常重要的技能。另一方面,虽然之前一直热衷于dnn和算法领域的探索,后来才意识到,神经网络和算法的落地,一定... 阅读详情
  • constructor 是类的特殊方法,当new一个类的新实例时该方法被调用
  • window.btoa(string) 将一个ASCII字符串变成Base64编码的字符串
  • 对称加密只有一个key,加解密都用它;非对称加密有两个key,你要发给谁,就用谁的公钥加密,拿到数据的人用自己的私钥解密
  • 要知道自执行函数常见的几种样子

(二)小技巧

  • F12禁用时,有点击右上角的三个点,找到开发者工具打开它;还可以用独立窗口打开开发者工具
  • 若JS中的某种加密(例如MD5)可以在自己的NodeJS上导入库来实现,这样就不用逆向太多东西
  • 上面的技巧中怎么判断是否“可以”?将密文输入到在线MD5加密工具中试一下,看看返回结果和断点处的是否一样
  • 加密一般是请求参数加密,参数又可以分为cookie中的参数,URL中的查询参数
  • 解密一般对响应加密的数据
  • 逆向的时候,应该断点跟着代码走,意思是先在代码中推理出了要下断点的位置,再去打断点,跳到下个断点处调试
  • 如果在发起程序的堆栈中有异步调用,就不好用XHR断点来调试
  • JS代码中如果有if判断条件,若if一定会执行(比如里面有加解密函数),那么我们可以直接去掉if
  • 在webpack逆向中,在加密处打断点才能找到function的call;对.call(this,n(11))下断点后要重新加载整个文档而不单单是接口,这样才能找到webpack加载器,控制台输入n点击一下输出就可以找到加载器的入口
  • 看cookie中有没有cookie参数时,httponly是肯定不会有加密的,因为是从服务器返回的
  • 源代码HTML中的密文,可以试试用id="xxx"里的xxx值进行全局搜索寻找解密入口
  • 如果加密的key不会随着URL变化而不同,那么我们就可以不用逆向,直接复制下来
  • 用constructor构造函数和递归实现无限调用自身的方式制造无限debugger,破解的方法是找到该函数定义但未执行的时机下断点,然后置空函数
  • 有时候无限debugger的构造函数代码被卸载了七八个JS文件中,要耐心的一个个置空
  • 如果请求参数中有csrf_token一般他在网页源代码中直接就有

学习资源

如果你是也准备转行学习网络安全(黑客)或者正在学习,这里开源一份360智榜样学习中心独家出品《网络攻防知识库》,希望能够帮助到你

知识库由360智榜样学习中心独家打造出品,旨在帮助网络安全从业者或兴趣爱好者零基础快速入门提升实战能力,熟练掌握基础攻防到深度对抗。

1、知识库价值

深度: 本知识库超越常规工具手册,深入剖析攻击技术的底层原理与高级防御策略,并对业内挑战巨大的APT攻击链分析、隐蔽信道建立等,提供了独到的技术视角和实战验证过的对抗方案。

广度: 面向企业安全建设的核心场景(渗透测试、红蓝对抗、威胁狩猎、应急响应、安全运营),本知识库覆盖了从攻击发起、路径突破、权限维持、横向移动到防御检测、响应处置、溯源反制的全生命周期关键节点,是应对复杂攻防挑战的实用指南。

实战性: 知识库内容源于真实攻防对抗和大型演练实践,通过详尽的攻击复现案例、防御配置实例、自动化脚本代码来传递核心思路与落地方法。

2、 部分核心内容展示

360智榜样学习中心独家《网络攻防知识库》采用由浅入深、攻防结合的讲述方式,既夯实基础技能,更深入高阶对抗技术。

在这里插入图片描述

360智榜样学习中心独家《网络攻防知识库》采用由浅入深、攻防结合的讲述方式,既夯实基础技能,更深入高阶对抗技术。

内容组织紧密结合攻防场景,辅以大量真实环境复现案例、自动化工具脚本及配置解析。通过策略讲解、原理剖析、实战演示相结合,是你学习过程中好帮手。

1、网络安全意识

img

2、Linux操作系统

img

3、WEB架构基础与HTTP协议

img

4、Web渗透测试

img

5、渗透测试案例分享

img

6、渗透测试实战技巧

图片

7、攻防对战实战

图片

8、CTF之MISC实战讲解

图片

3、适合学习的人群

‌一、基础适配人群‌

  1. ‌零基础转型者‌:适合计算机零基础但愿意系统学习的人群,资料覆盖从网络协议、操作系统到渗透测试的完整知识链‌;
  2. ‌开发/运维人员‌:具备编程或运维基础者可通过资料快速掌握安全防护与漏洞修复技能,实现职业方向拓展‌或者转行就业;
  3. ‌应届毕业生‌:计算机相关专业学生可通过资料构建完整的网络安全知识体系,缩短企业用人适应期‌;

‌二、能力提升适配‌

1、‌技术爱好者‌:适合对攻防技术有强烈兴趣,希望掌握漏洞挖掘、渗透测试等实战技能的学习者‌;

2、安全从业者‌:帮助初级安全工程师系统化提升Web安全、逆向工程等专项能力‌;

3、‌合规需求者‌:包含等保规范、安全策略制定等内容,适合需要应对合规审计的企业人员‌;

因篇幅有限,仅展示部分资料,完整版的网络安全学习资料已经上传优快云,朋友们如果需要可以在下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

〖Python网络爬虫实战㊲〗- JavaScript 逆向实战(一) 今天几乎是手把手教大家怎么去逆向一个网站,下一篇文章点到为止,希望大家可以学到东西,不懂的可以在评论区留言。 阅读详情

相关推荐

〖Python网络爬虫实战㊳〗- JavaScript 逆向实战(二)

今天讲了一个案例,主要是一个比较泛的关键字的时候,以犀牛数据为例,如何去定位。希望大家可以学到东西,不懂的可以在评论区留言。

爱吃饼干的小白鼠的博客 1354

21.网络爬虫—js逆向详讲与实战

📑 📑在这个大数据时代,我们眼睛所看到的百分之九十的数据都是通过页面呈现出现的,不论是PC端、网页端还是移动端,数据渲染还是基于html/h5+javascript进行的,而大多数的数据都是通过请求后台接口动态渲染的。而想成功的请求成功互联网上的开放/公开接口,必须知道它的URL、Headers、Params、Body等数据是如何生成的。📑 📑JavaScript逆向工程是指通过分析JavaScript代码和运行行为来理解程序的内部机制。这种技术可以用于破解JavaScript程序的加密和混淆,以及

weixin_50804299的博客 1万+

【爬虫逆向实战篇】巧妙定位加密参数、断点调试与JS代码分析

爬虫JS逆向实战教程:定位加密参数、断点调试与分析实战

吴秋霖的博客 1万+

逆向爬虫技术的进阶应用与实战技巧

探讨爬虫技术的进阶应用与实战技巧,包括如何突破反爬虫机制、解析复杂页面结构、处理动态加载数据等。文章将结合具体案例,详细解析爬虫开发中的难点和解决方案,并提供丰富的代码示例,帮助读者从基础入门到实战进阶,全面掌握爬虫技术的精髓。

陈橘又青的博客 1万+

TS808效果器制作教程

TS808效果器制作教程 可以在立创商城购买到大部分的电阻电容和IC,音频接口,踩钉,电位器和电源接口可以去某宝看看都买得到的。链接https//pan.baidu.com/s/1QId1eIE3fJ2u5NLBSISvGA。安装过程过于繁琐,把所有元器件按照图纸焊接完成就可以调试了,祝你们成功!这是TS808经典效果器制作过程的记录。IC是JRC4558。...

qq_18948149的博客 3430

本地化搭建DeepSeek+RAGFlow,构建个人知识库

本地化搭建DeepSeek+RAGFlow,构建个人知识库。至少32G以上内存、500G以上空余磁盘空间。

gogospecter的专栏 7431

python 爬虫之js逆向爬虫详解

JS逆向是一种分析反爬机制的行为,通过分析反爬机制如何加密、混淆和模拟JS代码的执行,使之能够成功处理并渲染网页。由于JS逆向的方式需要进行复制粘贴,因此开发过程中需要耗费一定的时间和精力。在Python上,我们可以使用Requests和Selenium等库来获取页面元素或模拟人类操作。Requests库是一种强大、简洁的HTTP请求库。而Selenium是一个自动化测试框架,用于模拟用户在浏览器中的操作。过程如下:使用Requests# 获取页面# 对页面进行解析# ...使用Selenium。

naer_chongya的博客 7696

在边缘部署实时视觉应用程序

克隆代码库后,压缩源文件夹的内容,并将生成的存档文件上传到上一节中创建的 S3 存储桶中。在本教程中,我们将使用 AWS Greengrass,因为它支持大多数 Windows 和 Linux 设备,包括我们的目标 Jetson AGX Xavier。此外,模型还可以量化到更低的精度,从而加快推理速度,但对于较大的模型,此过程通常较长(约 45 分钟)。本例中的脚本只是启动一个 Bash 环境,切换到解压后的构件目录,最后使用所需的命令行参数运行 Deepstream 应用。每个模型类型都有其独有的格式。

2501_91623519的博客 1302

深入与浅出-Python爬虫逆向实战

爬虫逆向,简单来说,就是通过分析网页的前端和后端行为,找出数据的来源和获取方式,从而实现自动化抓取。很多时候,直接使用requests和可能无法获取到目标数据,因为数据可能由JavaScript动态加载,或者隐藏在API请求中。逆向工程的目标,就是通过分析这些行为,找到数据的真实来源,并模拟请求获取数据。通过这个案例,我们展示了如何通过逆向工程实现动态网页的数据抓取。使用浏览器开发者工具分析网页行为。找到数据的来源(API接口)。模拟API请求,处理分页和反爬机制。存储和处理抓取到的数据。

ZTLJQ的博客 3510

别再套用星形公式了!三角形接法PMSM的FOC控制,扇区判断与作用时间推导全解析

本文深入解析三角形接法永磁同步电机(PMSM)的FOC控制技术,重点探讨30度相位差对SVPWM扇区判断与电压矢量作用时间的影响。通过数学推导与实验验证,详细讲解修正后的扇区划分规则、作用时间计算公式优化方法,并提供可直接移植到STM32的代码实现,帮助工程师解决三角形接法特有的相电流重构与同步采样难题。

weixin_30689307的博客 473

国科大学习资料--高级软件工程-复习题概念解释答案

国科大学习资料–高级软件工程(罗铁坚 魏峻 刘丹)-复习题概念解释答案 1. 敏捷开发方法与Scrum方法 a.敏捷是一种强调轻量的过程方法论,它强调拥抱变化而不是与之对抗,通过有效的沟通发挥群体的智慧。敏捷方法采用迭代/增量开发的过程模型。敏捷宣言是:个体和交互高于流程和工具;工作的软件高于详尽的文档;客户合作高于合同谈判;响应变化高于遵循计划。 虽然右边的也有价值,但是认为左边的更有价值。 b.Scrum(Schwaber和Beedle)是管理两个披萨规模(4-9人)的软件开发团队的方法,它高频率的短会

无名何许人的博客 1444

2024年Python最全【学习心得】爬虫逆向的小技巧小知识(持续更新),2024年最新京东面试java

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

2201_75604341的博客 432

嵌入式PCB电源完整性分析:PDN建模与电流密度优化

电源完整性(PI)是高速数字与混合信号系统稳定运行的基础,其核心在于保障芯片供电网络(PDN)在动态负载下的电压稳定与热安全。PDN分析本质上是通过量化电流密度与电压降两个关键物理量,揭示PCB走线、过孔及平面的载流瓶颈与压降路径。电流密度超标将引发局部温升与可靠性风险,而电压降则直接侵蚀器件供电裕量,导致复位、采样失真等典型故障。借助Altium Designer等工具开展工程级PDN建模,需严格依据电源预算表定义源/负载,并精准配置铜厚、过孔参数及IPC-2152限值,从而实现从原理图到制造工艺的闭环验

weixin_28949937的博客 212

爬虫逆向学习进阶路线

大数据时代下,爬虫技术逐渐成为一套完整的系统性工程技术,涉及的知识面广,平台多,技术越来越多样化,对抗性也日益显著。 大家可以参考一下学习路线,看看自己需要对哪些知识进行补充。 爬虫逆向学习路线学习路线总结系统提高加密算法特征和实现传输协议和通讯协议各种验证码识别方法个人汇总专栏爬虫逆向社区 学习路线总结 基础学习路线总结: 主语言基础语法 常用网络请求库、解析库 常用抓包工具 自动化工具库 流行采集框架 多进程、多线程、协程、分布式爬虫 采集器管理 Js逆向学习路线总结: 浏览器构造、基础语法、作

李玺 1万+

链接文件及功能安全:S32K3如何将FLASH驱动放到RAM里面、RAM如何实现软件复位数据不丢失操作。

在通过RTD的SDK也好MCAL也好,始终存在一个问题,生成的代码除了看门狗模块,默认都是放在flash里面,按照正常逻辑来看没啥大的问题,思考一个问题:Flash放在0x100的位置,但是此时我们要操作0x100怎么办?那肯定不允许啊,但是将flash的驱动放在RAM里面就可以避免这个问题的产生。Flash的特性:PF0能操作PF1,当然PF1也能操作PF0的,以此类推,只要不操作自身,想怎么玩都可以。这也是一个物理特性吧。

梦想技术家 2311

Halcon 深度学习实战:PCB 缺陷检测模型的 TensorRT/OpenVino 加速推理

本文介绍了如何利用TensorRT和OpenVino对Halcon深度学习模型进行加速优化,以提升PCB缺陷检测系统的实时性能。文章详细阐述了模型加速框架的选择策略(根据硬件选用TensorRT或OpenVino)、优化流程实施(包括混合精度优化和模型导出)以及加速后的推理实现。实验结果表明,优化后的模型体积缩小40%,推理速度提升2-5倍(GPU环境下从79ms降至38ms,CPU环境下从3804ms降至2152ms),同时保持检测精度。通过完整的代码示例展示了从模型加速到实际部署的全流程,为工业视觉场景

LIN943168247的博客 538

爬虫的js逆向入门到进阶教程手把手教学文章~持续更新

最近和十一姐共同创建了一个知识星球,名字叫时光漫漫,星球里面的所有人员十一姐取了个名字叫漫星,希望在漫漫时光里和大家一起共同成长,将这个授人以渔的星球逐渐壮大起来

博客 3467

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

python爬虫的js逆向入门到进阶教程文章分享汇总~持续更新

网上js逆向案例资料众多,手把手的详细文章教程思路汇总到本文章里面方便后续查询

十一姐的博客 3710

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

猿人学·爬虫逆向高阶课

我跟 virjar 出了一套爬虫课(猿人学·爬虫进阶培训课),包含:安卓逆向抓取、JS 高阶逆向抓取、安卓群控抓取、容器定制化等。 实际上我去年就在做这个爬虫课了,一直没有放到网课平台上公开宣传,但是也有多位同学信任我,跟着我在精进爬虫技术。 今年 virjar 大佬加入,我俩一起做这个爬虫课,目标是做一套成体系和有竞争力的爬虫高阶课。 | 课程内容 | 爬虫技术进阶体现在反爬对抗和规模化抓取上。 目前网页的对抗难度上限是跟浏览器特征绑定的高度混淆 JS 和验证码拖拽等;APP 的加固,SO 混淆,抓包和

小猿猿的博客 7449

JS逆向学习笔记 - 持续更新中

JS逆向学习笔记 文章目录JS逆向学习笔记一. JS Hook1. JS HOOK 原理和作用原理:替换原来的方法. (好像写了句废话)作用: 可以去Hook一些内置的函数, 例如Debugger, setInterval,JSON.stringify等等2.JSHook 检测与过检测原理: 其实就是检测代码是否和原来的相等.绕过手段: 修改Function的toString方法.3.JS过反调试4. JSHook 对象属性1. Object.defindPropety()二. Chrome拓展(Chrom

Qiled的博客 1万+

一篇关于反爬虫和反反爬虫的文章(内含Python爬虫和JS逆向以及反反爬虫练习平台)

前言 博主已经好几个月没有更新文章了,原因就是最近在搞一个反反爬虫练习平台给予大家免费使用。 属实不会编写文案,所以粗制滥造的话语请大家不要建议,主要还是介绍《平头哥反反爬虫练习平台》,平台网址在最下方。 爬虫 根据百度百科的解释: 网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 危害: 因为爬虫的出生,这对于最初期的大部分网站有非常大的危害。 因

LeeGene的博客 3368

爬虫逆向爬虫遇到的常见加密算法 整理(安卓逆向 js逆向) 持续更新

取盐 算法,消息摘要算法,是对数据进行一系列运算后,截取一部分关键值进行校验。因此运算过程不可逆,无法还原出加密前的 初始文本。消息摘要算法得到的结果长度一般是固定的,无论输入的消息有多长,计算出来的消息摘要的长度总是固定的。一般地,只要输入的文本不同,对其进行摘要以后产生的摘要消息也必不相同,但相同的文本输入必会产生相同的输出。

weixin_44236034的博客 1197
上一篇: 内网渗透横向移动技巧(非常详细)从零基础到精通,收藏这篇就够了!
下一篇: 什么是DNS劫持? 怎么防止DNS劫持攻击?
网络安全_入门教程
博客等级 码龄4年 1万+粉丝 2151原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值