
爬虫与逆向教程
文章平均质量分 82
以众多网站为案例 由浅入深 深度解析网络爬虫的原理及逆向方法
优惠券已抵扣
余额抵扣
还需支付
¥29.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
代码简单说
wx代码简单说同步更新。Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。接官网/后台/小程序/公众号开发 有意私信详聊。
展开
-
某知名动漫网站JS逆向教程:解密DATA变量
目标网址 : aHR0cHM6Ly9hYy5xcS5jb20v最近在研究某个动漫网站的数据获取方式,结果发现它并没有常见的 XHR 请求,也没有 JSONP 请求,说明数据应该是直接包含在 HTML 代码里的。我顺着思路去找,结果发现了一个很奇怪的DATA变量,它看起来像是加密后的内容,于是决定深入研究一下。原创 2025-03-31 00:44:23 · 243 阅读 · 0 评论 -
绕过devtools-detector检测方法:使用油猴脚本破解控制台检测
我们可以很容易地控制并修改全局对象的属性,避免被检测到。当然,类似的技术可以扩展到更多的场景,保护开发者工具不被轻易检测到。一旦我们加载了这个油猴脚本并访问检测页面,即使打开了浏览器的开发者工具,页面也不会再崩溃。通过监听该对象的属性和方法,可以绕过检测。一般来说,绕过这种检测的方法大多可以通过油猴脚本来实现。”,并且打开控制台后,页面会在两秒钟后卡死。这个功能看似很酷,但它也给了我们一些绕过的机会。对象,重写它的属性,使得在页面检测到控制台打开时,不会执行页面崩溃的操作。其中一个功能是,当选中“原创 2025-03-30 21:43:20 · 20 阅读 · 0 评论 -
“AI文本和图片检测“网站绕过检测次数思路
我首先想到的是浏览器插件 改浏览器指纹 但是测试下来有时候会对其他网页造成影响 毕竟改了浏览器环境 hook这个fingerprintjs的话也比较麻烦 于是想到个更简单的办法 直接用油猴脚本 写个生成随机字符串存到localStorage 因为网站里的js逻辑是先读本地localStorage里的"fp" 没有的话再生成 所以直接写个js改本地的就行了 我测试下来好像也有一定规则 前几位必须是208x之类的不然好像验证不通过。因为n是a的visitorId的一个属性 我们先看看打印一下a是个啥。原创 2025-03-30 20:03:53 · 339 阅读 · 0 评论 -
图文全程手把手教你微信小程序WebView逆向抓包和调试全过程和方法
ADB(Android Debug Bridge)是安卓的调试工具,可以让电脑与手机进行通信,必要时还能直接获取调试信息。先启用安装ADB并连接手机用远程调试刷新 WebView 抓取数据这样,就能轻松搞定小程序 WebView 的抓包分析了,有了这个方法,基本上微信小程序里的网页请求都能一网打尽!原创 2025-03-17 16:23:56 · 1002 阅读 · 0 评论 -
JS逆向反调试技术,三种绕过无限debugger阻止打开控制台的方法
窗口大小检测:检测与,异常时关闭页面构造器断点:利用让代码进入无限debugger定时器debugger不断触发debugger,让你无法操作菜单中选择"停用断点"控制台执行clearInterval(定时器变量)停止debugger使用Hook 关键函数,彻底绕过debugger这些技巧在调试 JS 逆向分析时非常实用,希望能帮到大家!如果你有更好的反调试破解方法,欢迎评论区交流!原创 2025-03-17 15:53:54 · 458 阅读 · 0 评论 -
记录一次js逆向壁纸网站请求加密与解密流程:一步步教你搞定!
今天,我做了一个有趣的逆向,目标是破解一个壁纸网站的请求加密。经过一番探索,终于成功还原了加密和解密过程,今天就和大家分享一下这个逆向教程。先来看看我的步骤和思路,最后还会附上完整的代码,感兴趣的小伙伴可以直接使用!原创 2025-02-25 21:15:26 · 962 阅读 · 0 评论 -
反向揭秘:Electron防抓包的技术,背后原理让我崩溃
无线网卡驱动:这类驱动通过把流量重新路由到指定网卡的方式,绕过了抓包工具的监控,几乎无法抓取有效请求。传统抓包工具失效:Fiddler、Reqable等工具全部被绕过,完全无法获取数据。唯一有效工具:HTTP Debugger作为唯一有效工具,能勉强拦截流量,但依然有局限。系统崩溃的后果:安装驱动后,系统会因不兼容导致蓝屏,给调试和逆向工作带来极大的麻烦。这个防抓包技术让我彻底体会到了开发者的用心良苦,同时也让我意识到,面对强大的反向工程手段,任何抓包工具几乎都显得苍白无力。原创 2025-02-19 18:20:22 · 137 阅读 · 0 评论 -
爬虫必备知识: 如何通过网页特征识别它使用的框架?
识别一个网站使用的框架可以通过分析页面的源代码、HTTP 响应头、文件结构、Meta标签以及URL格式等多种方式来实现。通过这些特征,你能够知道网站是基于哪种技术栈开发的,从而优化你的爬虫代码或后续的数据处理策略。如果你对某个框架有更具体的问题,或者想了解如何高效识别某种框架,欢迎留言讨论!原创 2025-02-18 13:28:41 · 123 阅读 · 0 评论 -
一键爬取B站综合热门榜,Python和Node.js 双实现!
前几天刷 B 站的时候,突然想看最近都有哪些热门视频。但问题来了,我不想一个个翻页面,于是决定写个简单的爬虫直接获取 B 站的综合热门榜单,用代码把事情自动化!发起 HTTP 请求,获取 B 站的热门榜单数据。来发起 HTTP 请求,同样可以轻松获取榜单。tag:Python #Node.js #B站热门榜。如果你更喜欢用 Node.js,那么可以用。Python 的实现很简单,主要是用。原创 2025-01-06 15:50:30 · 49 阅读 · 0 评论 -
自建 HTML获取腾讯六宫格点选图片验证码素材,实现刷新批量获取图片方便训练
通过自建 HTML 页面,可以方便地获取腾讯六宫格二维码素材,不仅过程简单,而且可以灵活配置各种参数。希望这篇文章能帮助到需要相关素材的小伙伴。如果你有其他问题或者更好的方法,欢迎留言交流!原创 2025-01-06 15:22:27 · 114 阅读 · 0 评论 -
安卓高版本安装系统证书 HTTPS 抓包 - 终极解决方案
在一次项目调试中,想抓某款 App 的包,发现问题卡在了“证书信任”这一环节。众所周知,从 Android 7.0 开始,系统默认不信任用户 CA 证书,因此要抓包就得把证书安装到系统 CA 证书目录。这种情况下,只能另辟蹊径,手动将证书安装到系统目录。有时,复杂的问题背后其实隐藏着一个简单的逻辑——就像这次,通过挂载内存文件系统轻松解决了抓包难题。这种方法不仅适用于本次场景,还能拓展到其他需要修改只读系统目录的场景,关键是捅破那层窗户纸。**注意:**重启后挂载会失效,需在抓包前重新执行脚本。原创 2025-01-06 15:02:04 · 550 阅读 · 0 评论 -
免ROOT、不刷机、不依赖Xposed实现Android改机的思路
最近在一个项目中需要模拟多种Android设备的环境。无奈市面上的大部分改机工具,要么需要ROOT权限,要么依赖Xposed,甚至还得重启设备。为了实现更灵活、更干净的改机方式,我开始了漫长的技术探索,最终找到了免ROOT、不刷机、拒绝Xposed的实现路径。Android_IDIMEI手机序列号手机型号、品牌、CPU型号等硬件信息GPS位置、Wi-Fi参数、通话记录、短信等软硬件数据这些信息通常用于标识设备唯一性,而改机就是对这些标识数据进行模拟或篡改。原创 2025-01-05 18:26:24 · 448 阅读 · 0 评论 -
抓包网络调试工具 reqable抓包教程
如果CA根证书未安装成功,网络图标是黄色,点击盾牌图标可以进入CA根证书安装界面,详细步骤请阅读。在API调试中,获取流量是第一步也是最基本的操作,这里讲解下如何使用Reqable获取流量,通俗地讲就是抓包。我们可以选择一个图片请求,双击打开详情面板,能够看到该请求的详细信息。如果系统代理未设置,网络图标是黄色,点击网络图标可以自动设置系统代理。此域名的结构树,可以查看该域名下所有请求的目录结构,点击选择可以查看该请求的详情。首先,需要启用Reqable的调试功能,点击最右上角的。打开浏览器,输入地址。原创 2025-01-05 15:38:31 · 635 阅读 · 0 评论 -
抓包网络调试工具 reqable安装证书教程
Reqable要求用户事先已经在电脑上安装了ADB工具,Reqable会使用ADB工具检查连接到电脑的Android设备的证书安装状态,包括系统证书安装状态和用户证书安装状态。注意,在Linux设备上Chrome和Firefox浏览器有内置的证书管理系统,您还需要将CA根证书安装到浏览器的证书管理系统中,请按照Reqable内的提示进行操作。不出意外的话,证书会自动安装成功;如果您有分析移动端应用流量的需求,必须在移动端安装CA根证书,我们已经在Reqable中内置了Android和iOS证书安装的指引。原创 2025-01-05 15:35:41 · 628 阅读 · 0 评论 -
小黄鸟替代?新一代抓包工具Reqable 的使用心得
简单来说,Reqable 是一款集Fiddler、Charles 和 Postman于一体的多功能抓包工具。不仅支持抓包调试、接口测试,还覆盖移动端和桌面端,支持 HTTP1、HTTP2 和 HTTP3(QUIC)等协议。让 API 调试更简单、更快!原创 2025-01-05 15:25:50 · 458 阅读 · 0 评论 -
“去水印大作战”:如何搞定图片网站的水印限制?
通过这次逆向工程,我不仅成功地去除了水印,还深入了解了网页如何动态加载带水印的图片。事实上,这种“绕过”技术有一定的前端知识和调试技巧,但也体现了前端开发中的一些有趣的细节和原理。不过,大家要注意,虽然通过这种方式去水印可以解决一些日常的麻烦,但在某些情况下,这种做法可能会侵犯版权。所以,在使用这些技巧时,务必确保你是在合法范围内操作。希望我的这篇分享能够对你们有所帮助,特别是那些也在处理类似问题的同学。如果你有其他的技巧或者更好的思路,欢迎在评论区分享,让我们一起学习进步!原创 2024-12-18 18:16:20 · 173 阅读 · 0 评论 -
[简单学逆向]如何绕过登录收费下载,获取高清无水印印章图
通过这次操作,我成功绕过了需要登录和VIP的限制,获取到了高清无水印的印章图片。这个过程涉及到删除水印层以及直接获取图像的技术,对于需要在项目中处理类似问题的同学,应该能够提供一定的帮助。当然,这个方法仅适用于你能够访问到网站源代码的情况,对于无法访问源代码的网站,可能需要考虑其他方法。希望这个小技巧能帮到有相似需求的朋友!原创 2024-12-17 20:12:18 · 922 阅读 · 0 评论 -
2024某Q音乐平台歌曲列表查询参数 “sign” 逆向全解析:从抓包到模拟生成
在当今数字化时代,音乐平台众多,每个平台都有其独特的接口和数据交互方式。逆向工程技术在理解和利用这些平台功能方面发挥着重要作用。本次逆向分析聚焦于一个音乐平台的歌曲列表查询参数“sign”,旨在揭示其生成逻辑,为可能的应用开发或数据获取提供技术支持。原创 2024-11-23 21:39:38 · 395 阅读 · 0 评论 -
爬虫必看!开发者工具被禁用打不开?右键菜单被禁用? 禁止F12快捷键?一招教你绕过 disable-devtool
对于的绕过,核心思路是阻止它运行或覆盖它的功能。你可以通过禁用 JavaScript、使用 Puppeteer 绕过、动态挂载调试工具或注入覆盖代码等方法轻松解决。温馨提示:请务必遵守法律和目标网站的使用条款,不要将这些技术用于非法用途。学会这些技巧是为了学习和提升,而非滥用!原创 2024-11-22 16:38:03 · 2154 阅读 · 0 评论 -
爬虫工程师必备!js 逆向基础之环境补充
通过 Node.js 环境补充方法,爬虫工程师可以更有效地分析和破解 JavaScript 加密代码。只需掌握提取、补充和执行的步骤,再结合vm模块和模拟对象,即可让 JS 代码在 Node.js 中顺利执行,为后续逆向工程提供强大的支持。希望这篇文章能帮助你掌握 JS 逆向基础知识,让你的爬虫工程更上一层楼!原创 2024-11-11 16:43:22 · 263 阅读 · 0 评论 -
JavaScript逆向必看:常见无限Debugger以及绕过方法
无限Debugger的防护手段多种多样,但通过灵活使用调试器、禁用特定代码片段或注释绕过代码结构,可以有效解除干扰。这些方法可以在逆向分析中帮助我们更高效地突破调试限制,实现更深入的代码理解。原创 2024-11-09 11:32:56 · 625 阅读 · 0 评论 -
爬虫工程师必备! JS逆向基础之常用Hook 脚本快速定位关键数据、调试代码及绕过反调试机制
这些 Hook 脚本能帮助你快速定位关键操作、绕过反调试机制,并捕获 JavaScript 程序中的关键数据。通过这些脚本,你可以更有效地进行 JS 逆向分析,发现并调试隐藏的加密或防护机制。原创 2024-11-11 16:35:33 · 162 阅读 · 0 评论 -
[爬虫必读] JSVMP算法原理及使用场景分析
JSVMP,全称为,中文可以理解为“JavaScript 虚拟机保护”。它是一种用于保护前端代码安全的技术,通过将 JavaScript 代码转换为虚拟机字节码来加密和混淆代码,从而提升代码的安全性。传统的代码混淆方法可以通过逆向工程或解混淆工具轻松破解,而 JSVMP 通过虚拟机解释器运行代码,增加了解密的难度,使得代码破解变得更加复杂。原创 2024-11-04 18:32:51 · 1088 阅读 · 0 评论 -
爬虫必须要了解的知识 Cheerio 高级用法:深入解析与实战技巧
Cheerio是强大且灵活的网页数据解析工具,结合 jQuery 风格的操作接口,使得服务端的 HTML 抓取变得十分方便。本文涵盖了 Cheerio 的复杂选择器用法、内容清理、DOM 操作、动态内容处理和性能优化等高级技巧。通过深入理解并掌握这些用法,可以更有效地应对实际数据抓取和网页解析任务。原创 2024-11-03 14:07:34 · 958 阅读 · 0 评论 -
爬虫工程师必备! 常用加密算法的特征一览 常见加密特征进一步总结 (二)
Base64 编码Base64 编码常用于加密后数据的传输,它将二进制数据转化为可打印的字符串格式。开头为ey:当加密数据以"ey"开头时,通常可能是 JSON 格式数据的 Base64 编码结果。例如,JWT(JSON Web Token)使用 Base64 编码头部、有效载荷和签名,常见于 API 身份验证中。常见结构,这种三个 Base64 编码段之间用分隔的字符串,通常是 JWT。末尾为或==:如果字符串末尾有一个或两个等号 (),这通常是 Base64 编码填充的特征。示例。原创 2024-11-11 16:26:54 · 569 阅读 · 0 评论 -
爬虫工程师必备! 常用加密算法的特征一览 轻松搞定加密数据 (一)
在爬虫工程中,遇到加密后的数据是常见的挑战。为了破解这些加密方式,了解不同加密算法的特征显得至关重要。本文将介绍几种常见加密算法的特征,帮助您在看到编译后的代码或加密数据时判断使用的加密方式或加密库。原创 2024-11-11 16:25:24 · 118 阅读 · 0 评论