K哥爬虫

Python网络爬虫丨JS 逆向丨安卓逆向丨持续分享高质量技术好文丨公众号:K哥爬虫

  • 博客(201)
  • 收藏
  • 关注

转载 当爬虫工程师遇到 CTF丨2021 年 B 站 1024 安全攻防题解

文章目录第一题:加密解密第五题:APP 逆向总结最近看到哔哩哔哩上线了一个 1024 程序员节的活动,其中有一个技术对抗赛,对抗赛又分为算法与安全答题和安全攻防挑战赛,其中安全攻防挑战赛里面有 7 个题,其中有 APP 逆向和解密的题目,作为爬虫工程师,逆向分析的技能也是必须要有的,于是 K 哥就以爬虫工程师的角度,尝试做了一下其中逆向相关的两个题,发现逆向不是很难,分享一下思路给大家。(以爬虫工程师的角度分析安全攻防的题,网安大佬勿喷!)1024 程序员节活动地址:https://www.bi..

2021-10-23 18:15:50 6358 9

原创 JS 逆向之 Hook,吃着火锅唱着歌,突然就被麻匪劫了!

关注微信公众号:K哥爬虫,QQ交流群:808574309,持续分享爬虫进阶、JS/安卓逆向等技术干货!什么是 Hook?Hook 中文译为钩子,Hook 实际上是 Windows 中提供的一种用以替换 DOS 下“中断”的系统机制,Hook 的概念在 Windows 桌面软件开发很常见,特别是各种事件触发的机制,在对特定的系统事件进行 Hook 后,一旦发生已 Hook 事件,对该事件进行 Hook 的程序就会收到系统的通知,这时程序就能在第一时间对该事件做出响应。在程序中将其理解为“劫持”可能会更.

2021-09-29 14:35:45 26489 2

原创 【验证码逆向专栏】某盾 v2 滑动验证码逆向分析

之前分析了某盾 Blackbox 的指纹算法, 这次再来做做它的验证码,该指纹算法在验证码参数里面也会有用到,详细查看往期文章 :【JS逆向百例】某盾 Blackbox 算法逆向分析:https://mp.weixin.qq.com/s/ueWVmlpLOljOLb1a7vEBag。

2025-03-03 17:38:49 1470 1

原创 【APP逆向百例】某蜂窝逆向分析

unidbg 是一款基于 unicorn 和 dynarmic 的逆向工具,一个标准的 java 项目,它通过模拟 Android 运行时环境,让用户能够在没有实际设备的情况下,分析和调试 Android 应用的行为。把作者给的样例,例如 TTEncrypt 代码 copy 一份,改一下,这个 app 检测环境较少,可以算入门 unidbg 的案例,基本上简单修改完作者给的代码样例就能使用。注意,捕获的东西有点多,可能导致卡死、应用闪退,可以在输出一段时间后手动关掉,或者根据相关字段进行过滤。

2025-03-03 17:35:16 1511

原创 【验证码逆向专栏】最新某验四代动态参数逆向详解

近期查看星球群聊,发现有群友讨论关于某验蝌蚪文的问题,根据以往经验来看,绝对不仅仅是单纯的 js 混淆,而逻辑不变。

2025-02-10 18:22:45 1347

原创 【JS逆向百例】某盾 Blackbox 逆向分析

本文只对某盾 Blackbox 的其中一种算法进行逆向分析,不涉及指纹风控、环境部分。也是由时间戳、随机数组成,可以重新刷新,我们看看还有什么参数是走的这个算法。算法的源码,会分享到知识星球当中,需要的小伙伴自取,仅供学习交流。进入到该函数内,重新下断点刷新网站,单步往下跟,定位到最后。搜索发现 在 js 文件中是写死的,经过测试是标准的。接口的这些请求参数,非常之多,但是不要怕,慢慢来。将前面的请求参数,拼接成字符串,然后再进行。可以直接扣 js 代码,不多,或者直接用。

2025-01-20 18:12:54 1640

原创 【APP 逆向百例】某豆 app 逆向分析

SDK Platform-Tools 包含多个实用工具,其中最常用的是。ADB 是一个通用的命令行工具,提供 Android 设备与 PC 端之间的桥梁。安装和调试应用程序。操作设备上的文件。查看设备的状态信息。执行其他与设备相关的操作。

2025-01-13 16:07:44 1430

原创 【JS逆向百例】某江 Hospital 逆向分析

最近又有小伙伴在逆向某网站的时候,碰到了点棘手的问题,过来询问 K 哥。经过分析,该网站既有加密参数,又使用了 WebSocket 协议来传输数据,正好可以丰富 JS 逆向百例专栏。

2024-12-30 10:19:43 1599

原创 【JS逆向百例】爱疯官网登录分析

最近有些小伙伴在微信群交流,关于爱疯登录相关加密参数的问题,同时,也有粉丝私信,想让 K 哥出关于 m1、m2 相关参数逆向的系列教程。

2024-12-30 10:19:05 1655

原创 【JS逆向百例】东某航空数美指纹 v4 设备 ID 逆向分析

Protocol,与上面包含 DES key 的大对象关联,保持一致,跟某数滑块一样也是动态的。文件加载出来的,进入后,发现经过 ob 混淆了,不过通过搜索也能轻松定位到。,不过赋值在两个不同的对象中,只用分析下面的就行,下面的后面会用到,跟进。摘要算法,经过测试也是标准的,继续往下走,跟进到。最后,风控部分就需要自己去探索了,跑多了,如果遇到。是标准的 AES,CBC 加密,加密内容为。,就是触发了数某的验证码,携带验证成功的。搜索后发现,“B” 后面的内容,是由。的生成方式还不知道,发现也是在。

2024-12-10 09:26:21 1582

原创 【验证码识别专栏】今天不炼丹,用 cv 来秒验证码

最近查看 QQ 群消息,无意间看到了粉丝们关于 opencv 的相关讨论,有热心的群友给出了大致的解决方向。同时也有很多星球伙伴,在星球分享关于验证码识别的相关知识,学习交流的氛围很好。

2024-12-10 09:24:54 1149

原创 【验证码逆向专栏】某多多验证码逆向分析

某多多的验证码,类型有很多,滑块、点选、手势等等,其中点选的题目繁多,每刷一次都能给你整个新的出来。

2024-11-29 13:40:53 856

原创 【验证码逆向专栏】某里 v2 滑动验证码分析

最近有粉丝反馈,在处理业务网站的时候,碰到了某里的验证码,但是又和大伙所熟知的 226、227 不一样:其实这是某里 v2 验证码,相较于 228、231 这种旗舰产品,之前使用 v2 的网站并不是很多,不过最近有多起来的趋势。部分小伙伴可能看到了某里系的验证码,就认为解决不了,直接放弃,其实都没有那么复杂,不说全纯算还原,至少补环境是可以尝试一下的。

2024-11-29 13:39:43 959

原创 【验证码逆向专栏】vaptcha 手势验证码逆向分析

因为获取图片和验证的加密内容基本一致,且都在 vm 文件里面,这里就一同分析。跟到这里,会发现加载了几次图像,当我们刷新图片的时候,会看到图片不断地切换。这个接口返回了验证码类型,其中 embed 的值就是嵌入式点击验证码,其他三个分别对应三种类型。另外上面的 globalMd5 中的 splicingObj 函数也不一样,扣的时候注意点就行。可以看到是一个控制流语句,en 的值都是由 encryFunc 加密生成,接受两个参数,但是我们最终还原的图像结果不在这,因为最后一次循环执行时,没有获取。

2024-11-18 16:18:00 1091

原创 【JS逆向百例】cebupacificair 航空逆向分析

近期在知识星球中,有位星友在逆向一个航司的时候,遇到了点阻碍,向我提问,本期就对该网站进行逆向分析:目标:cebupacificair 航空查询逆向分析网站:打开网站,找到返回机票信息的机票查询接口 :目测,有这四个参数需要分析,分析之前先搜索,免得是接口返回,发现 和 是另外一个 接口返回的:该接口有四个参数需要分析,也是有两个 ,估计都大差不差,我们继续先搜索,发现 是 文件返回的:而 文件是通过首页加载的,大致流程都梳理清晰了,我们开始进行逆向分析:从头开始,我们请求首页,发现他并没有返回

2024-11-18 16:17:19 1189

原创 17track物流查询平台 last-event-id 参数逆向分析

就容易多了,只需要将下面这几个关于代码检测的函数都删除掉,都是些无关的代码,检测代码格式化 、解完混淆后代码就清晰可见,缺啥扣啥,一步步来就好了,代码也不多,可见 AST 解混淆的重要性。Github 仓库:https://github.com/cilame/v_jstools。目标:17xx 物流查询平台 last-event-id 参数逆向分析。在线分析工具:https://astexplorer.net。然后再通过工具替换代码,这边选用。,映入眼帘的就是我们熟悉的。, 我们直接看它触发。

2024-10-21 15:55:42 550

原创 【JS逆向百例】某赚网 WebSocket 套 Webpack 逆向分析

近期有粉丝私信,提到了某网站抓不到包的问题,之前还有不少新手粉丝提到不会 webpack。

2024-10-21 15:55:08 1219

原创 【验证码识别专栏】大炮打麻雀 — CLIP 图文多模态模型,人均通杀 AIGC 六、九宫格验证码!

近期有粉丝私信,不知道如何训练某讯系点选验证码,之前星球群也有不少粉丝讨论相关问题,为满足粉丝们的需求,本文将对这型验证码的训练进行讲解, 文末可以下载相关的工具,包括文章配套标注工具文章配套训练代码部分学习数据集(少量类目,仅供学习使用,不设计成品)六宫格推理比较算法。CLIP(Contrastive Language-Image Pre-Training)是由 OpenAI 在 2021 年发布的一种多模态预训练神经网络模型,旨在将图像和自然语言的表示空间统一起来,使得它们可以相互理解和关联。

2024-10-21 15:40:35 1177 2

原创 【验证码逆向专栏】某某滑块逆向分析

粉丝答疑又双叒来了!最近仍有不少粉丝咨询逆向相关问题,K哥会尽力回复,不过毕竟精力有限,不可能说是面面俱到(忙忘了@.@)。当然,还是会尽可能多筛选些典型的案例,产出相关文章,以供大伙学习交流。

2024-09-02 10:17:35 1350

原创 【JS逆向百例】音乐 wasm 逆向

最近在看知识星球群聊的时候,发现有小伙伴在讨论某wasm的相关问题,之前也有星球成员私信询问这个案例。

2024-08-26 11:53:42 1343 1

原创 【JS逆向百例】携某 testab 参数补环境详解

最近很多粉丝咨询补环境相关的问题,确实,相较于硬刚算法,补环境相对通用、易于实现。不过现在网上很多文章,对于如何补浏览器环境,都说的很模糊,或者直接表示”缺啥补啥“。诚然,补环境的文章确实不好写,但这对于部分人来说,看完还是很蒙圈,如果是小白的话,那就更不友好了。JSVMP 插桩跟算法,公众号和知识星球中都有不少文章,本文将采用补环境的方式解决 JSVMP,并详细分析处理过程。

2024-08-26 11:30:11 984 2

原创 【验证码逆向专栏】某安登录流程详解与验证码逆向分析与识别

最近知识星球有粉丝表示自己在逆向某安的过程中有一些疑惑,过来咨询,K 哥一向会尽力满足粉丝需求。本文就对某安进行深入研究,包括登录接口逆向、验证码识别、风控等方面进行全方位的分析。

2024-08-06 17:27:11 1389

原创 爬虫“拥抱大模型”,有没有搞头?

大模型是当前最热门的研究方向之一,千行百业加速“拥抱大模型”。如今,越来越多的研究机构和企业选择开放大模型的源代码和训练数据,促进了学术界和工业界的合作与交流,推动了技术进步,相关生态越来越好。这也使得,无论体量大小,各公司都有参与的机会,越来越多的大模型开始支持多模态输入和输出,能够处理文本、图像、音频等多种类型的数据。但是这么多的大模型,谁更胜一筹呢?谁能与爬虫产生更好的反应呢?本文将对各大常见的国内外大语言模型进行对比测试,从数据层面,体现一些直观的信息。

2024-07-29 18:37:17 1812

原创 【0基础学爬虫】爬虫框架之 feapder 的使用

大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬虫】专栏,帮助小白快速入门爬虫。学习爬虫的过程中,一般都会接触到一些框架,常见的比如 Scrapy、Pyspider 等等,不同的框架都有着各自的特点。不过就上述两款爬虫框架而言,Pyspider 久未维护,且安装到使用的过程较为坎坷;Scrapy 生态良好,功能丰富,但是对于初学者来说,学习成本相对较高。

2024-07-06 10:04:43 2058

原创 【0基础学爬虫】爬虫基础之scrapy的使用

Scrapy 是一个用于爬取网站并提取结构化数据的强大且灵活的开源框架。它提供了简单易用的工具和组件,使开发者能够定义爬虫、调度请求、处理响应并存储提取的数据。Scrapy 具有高效的异步处理能力,支持分布式爬取,通过其中间件和扩展机制可以方便地定制和扩展功能,广泛应用于数据挖掘、信息聚合和自动化测试等领域。数据爬取下来之后,我们通过scrapy 的 items 进行操作。item就是即提前规划好哪些字段需要抓取,比如上面的标题、评分这些字段就需要使用 item 提前定义好。

2024-07-01 16:41:42 1892

原创 【JS逆向百例】某点数据逆向分析,多方法详解

最近收到粉丝的私信,其在逆向某个站点时遇到了些问题,在查阅资料未果后,来询问K哥,K哥一向会尽力满足粉丝的需求。网上大多数分析该站点的教程已经不再适用,本文K哥将提供 3 种解决方案。

2024-06-24 12:00:35 1745 2

原创 【0基础学爬虫】爬虫基础之自动化工具 Appium 的使用

自动化测试在测试过程中节约了时间,还能避免包括人为因素造成的测试错误和遗漏。可供选择的自动化测试工具有很多,一些是开源的,而有些则较贵。但是自动化工具无论新旧,都有各自的特点。关于 Android 自动化测试,工具有很多,比如 Robotium、MonkeyRunner、Ronaorex、Appium、Robotium、uiautomator2 等等,本文将对 Appium 做详细讲解。Appium 是一个开源测试自动化框架,用于原生、 混合和移动 Web 应用程序。

2024-06-20 14:39:43 1339

原创 【0基础学爬虫】爬虫基础之自动化工具 DrissionPage 的使用

前三期文章中已经介绍到了 Selenium 与 Playwright 、Pyppeteer 的使用方法,它们的功能都非常强大。而本期要讲的 DrissionPage 更为独特,强大,而且使用更为方便,目前检测少,强烈推荐!!!这里推荐观看十一姐 B 站 DrissionPage 系列视频,很详细:合集·爬虫自动化 DrissionPage 实战案例:DrissionPage 相关资料:官方文档:https://www.drissionpage.cn。

2024-06-11 17:08:50 3076 1

原创 京东h5st4.7逆向分析

最近某东也是在不断的维护升级 h5st 参数, 原因就是逐渐VMP 化,现在已经到了4.7版本了,也相对稳定下来了,那我们就来分析分析。

2024-05-13 16:38:48 3062 3

原创 【小程序逆向专栏】某润选房小程序逆向分析

本文章中所有内容仅供学习交流使用,不用于其他任何目的,不提供完整代码,抓包内容、敏感网址、数据接口等均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关!本文章未经许可禁止转载,禁止任何修改后二次传播,擅自使用本文讲解的技术而导致的任何意外,作者均不负责,若有侵权,请在公众号【K哥爬虫】联系作者立即删除!近期在交流群中发现,有群友提到了小程序逆向相关的问题,之前也有不少粉丝私聊提问过相关问题,也对他们的疑问进行了解答, K哥一向会尽力满足粉丝们的需求 ,为了避免群友手动采集之痛,本

2024-04-30 11:49:24 1310

原创 【Go 语言入门专栏】Go 语言的起源与发展

Go 语言是当下最为流行的编程语言之一,大约在 2020、2021 年左右开始于国内盛行,许多大厂很早就将部分 Java 项目迁移到了 Go,足可看出其在性能方面的优越性。相信各位都知道,在爬虫业务中,并发是一个关键的需求,不然仅靠单线程采集数据,只怕公司垮了数据都还没采完。以往编写爬虫脚本,通常会使用 Python 语言,不过,想用 Python 实现较好的并发性能,相对麻烦,并且容易受到服务器或电脑配置的影响。

2024-04-30 11:48:48 1877

原创 【验证码逆向专栏】xx80 邮箱多种类验证码逆向分析

本文章中所有内容仅供学习交流使用,不用于其他任何目的,不提供完整代码,抓包内容、敏感网址、数据接口等均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关!本文章未经许可禁止转载,禁止任何修改后二次传播,擅自使用本文讲解的技术而导致的任何意外,作者均不负责,若有侵权,请在公众号【K哥爬虫】联系作者立即删除!又到了粉丝答疑时间,之前已经分析了两位粉丝存疑的站点,并编写了相应的逆向文章,私信中还有些小伙伴提出了在逆向一些网站的时候碰到的问题,后期仍会选择其中一些,写成文章,以供参考:目标

2024-04-01 16:00:55 1798

原创 【JS逆向百例】云汉芯商城逆向分析

本文章中所有内容仅供学习交流使用,不用于其他任何目的,不提供完整代码,抓包内容、敏感网址、数据接口等均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关!本文章未经许可禁止转载,禁止任何修改后二次传播,擅自使用本文讲解的技术而导致的任何意外,作者均不负责,若有侵权,请在公众号【K哥爬虫】联系作者立即删除!继上次粉丝提问,K哥出了对应站点的分析文章之后,又有不少小伙伴提出了在逆向一些网站的时候碰到的问题,态度都很友好,K哥会尽力满足粉丝需求,不过只能一个个慢慢来,本文先对其中一个进行

2024-03-25 13:55:32 1478

原创 【K哥爬虫普法】二十五岁 人大本硕 腾讯在职 爬虫被捕!

我国目前并未出台专门针对网络爬虫技术的法律规范,但在司法实践中,相关判决已屡见不鲜,K 哥特设了“K哥爬虫普法”专栏,本栏目通过对真实案例的分析,旨在提高广大爬虫工程师的法律意识,知晓如何合法合规利用爬虫技术,警钟长鸣,做一个守法、护法、有原则的技术人员。上一期普法栏目,给大家讲了一个博士爬虫被捕的案例。学历≠人品无独有偶,今天的故事主角也是大家眼中的高材生。只可惜,进去咯。

2024-03-06 16:46:03 1894

原创 「爬虫职海录」三镇爬虫

武汉的爬虫岗工资是高于当地社会平均收入的,虽不及一线城市,但生活成本也相对较低,工作几年后能够拿到一份每月过万的薪水,生活是不至于过的太差的,还能稍有盈余。1,文中出现的岗位JD,包括薪酬,工作时间、福利等情况,均为招聘单位公示,我只是做了收集,实际情况大家可以主动联系招聘方进行咨询。而这么多的毕业生,尤其是计算机专业,对爬虫岗感兴趣或者是打算从事爬虫岗的同学,是该留在武汉,还是流向发展更好的一线城市呢?武汉的爬虫岗薪资虽然低于北上广深杭,但毕竟是IT行业,还是跑的赢当地社会平均收入的。

2024-03-02 11:28:23 2197

原创 【JS逆向百例】某词霸翻译逆向分析

今天在查看某平台私信的时候,发现有位粉丝表示自己在逆向某站的过程中,有一些疑惑,态度十分友好,K哥一向是尽力满足粉丝需求的,本文就对该站进行逆向研究,该案例不难,不过为了便于粉丝理解,会写的相对详细点,大佬们直接跳过就可以了~

2024-03-02 10:55:18 1910 1

原创 吾爱破解2024春节解题领红包活动,喜迎新春~

K哥在这里,先祝各位小伙伴们新春快乐,财源广进,阖家幸福!吾爱破解每年都有个解题领红包活动,今年也不例外,需要我们使出看家逆向本领来分析内容获得口令红包,根据难度等级不同会获得不同数量的吾爱币,活动持续到元宵节结束。活动一共有十个题,本文分享过年期间抽空做的几个题的相关思路。文章很早就写好了,不过遵循论坛的规则,延迟至元宵节之后发布。活动地址:https://www.52pojie.cn/thread-1889163-1-1.html。

2024-02-27 17:55:42 943

原创 【K哥爬虫普法】某博士爬虫团伙贩卖个人信息,被一网打尽!

我国目前并未出台专门针对网络爬虫技术的法律规范,但在司法实践中,相关判决已屡见不鲜,K 哥特设了“K哥爬虫普法”专栏,本栏目通过对真实案例的分析,旨在提高广大爬虫工程师的法律意识,知晓如何合法合规利用爬虫技术,警钟长鸣,做一个守法、护法、有原则的技术人员。

2024-02-20 11:01:06 1305

原创 《爬虫职海录》卷二 • 爬在广州

尽管岗位数量和薪资水平都不占优,但大家还要看到,广州在吃住方面的生活成本同样是相对较低的,毕竟每个月工资再高,只有“可支配收入”才是真的。1,文中出现的岗位JD,包括薪酬,工作时间、福利等情况,均为招聘单位公示,我只是做了收集,实际情况大家可以主动联系招聘方进行咨询。2,文中出现的岗位基本为随机选取,只作为参考,并不代表K哥推荐,我并未收取任何单位以及个人的广告费,也不提供简历投递渠道。3,文中出现的招聘信息截至发文,仍为在招状态,后期K哥不对相关信息的有效性负责。

2024-02-05 18:16:26 1829

原创 分币不花,K哥带你白嫖海外代理 ip!

近来,国内的数据采集环境越来越严峻,不是“非法入侵计算机信息系统”,就是“侵犯公民个人隐私信息”,一个帽子砸下来,直接就“包吃包住”,推荐阅读一下【K哥爬虫普法专栏】。虽然大伙常说“搏一搏单车变摩托”,但这就像高空走钢丝,谁也说不好下一步会不会掉入万丈深渊。因此何不换个赛道,把目标放到各类海外数据,比如海外电商平台、社交媒体平台等等,同样能带来巨大的价值,最重要的,大多数人的技术也不足以惊动 FBI、ICPO,整个国际红色通缉令,被跨国追捕 ≖‿≖。

2024-01-26 18:50:04 2245

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除