- 博客(31)
- 收藏
- 关注
RSS订阅原创 深度解析布谷鸟过滤器（上篇）
布隆过滤器（Bloom Filter），诞生于UNIX元年（1970年）的一个老牛逼的过滤器，与时间戳同寿，经久不衰老而弥坚，查重性能至今令人非常满意。美中不足的是有一点误判率并且支持删除元素比较困难。44年后，卡内基梅隆大学的Bin Fan等人发了篇文章，标题是《布谷鸟过滤器：雀食吊过布隆》，号称有更好的空间利用率、更高的性能、更低的误判率、对删除操作更好的支持。听起来有点东西，深入文章研究下。
2022-12-05 20:09:51
1894
6
原创 Linux硬盘垃圾清理心得
最近有台系统盘才10G的服务器咔咔报警，一共才10G的空间，运维还设置了80%的报警阈值，实在难顶。为了清理硬盘里的垃圾，敲了不少命令，怕以后忘了，记录一下。
2022-11-18 15:35:10
2231
原创 爬虫漫游指南：浏览器指纹
最近深入阅读了瑞数的源码，发现瑞数收集了很多浏览器的特征信息，这部分源码对了解浏览器具有很高的学习价值，为此整理了这些特征信息，并尽可能还原了可读可用的代码来获取这些信息。本文测试环境为Chrome、Firefox和IE。
2021-06-30 11:04:16
2891
7
原创 Android逆向实战篇（Luac文件解密）
近日逆向一个app的时候发现它的主要功能都是用lua实现的，查看资源文件时发现，文件后缀是luac而非lua，打开一看全是乱码。那么毫无疑问，这是一个被加密过的文件，我们需要把它逆向还原出来，或者说解密出来更为合适。
2020-09-27 17:01:44
13563
5
原创 爬虫漫游指南：HTTP/2 网站爬取
最近写爬虫的时候遇到了一个用HTTP 2.0协议的网站，requests那套老经验在它身上不好用了，得专门针对HTTP 2.0进行开发。因为与HTTP 1.x的爬虫颇有区别，所以写篇文章记录一下。考虑到大多数读者应该更关心实践操作，所以本文会采取倒金字塔结构，首先介绍HTTP 2.0的爬虫代码该怎么写，然后在慢慢讲解HTTP 2.0的基础理论知识。
2020-05-16 14:53:40
6119
5
原创 Python进阶小技巧3：跳出多层循环
以前学python的时候一度对如何跳出多层循环比较困惑，总觉得所有方法都不够pythonic。今天突然想起这茬，就觉得写篇文章讨论一下这个问题。
2020-01-22 17:04:36
7227
原创 爬虫漫游指南：瑞数的反调试陷阱
遇上有反爬的网站，第一反应肯定是要先打开开发者工具调试一波，于是，反爬工程师们就在此处设下了第一道防线。初级一点的，例如监听F12，禁用鼠标右键，作为防线的一部分，这些小伎俩顶多就算个路障吧，成不了气候。真正能够搭建防御工事，形成火力网，还得靠debugger。
2019-12-20 11:10:21
12602
12
原创 爬虫漫游指南：聊聊极验（Geetest）
上至政务类网站国家企业信用信息公示系统，下至娱乐类网站斗鱼战旗龙珠，都可以看到极验的身影。于是，如何绕过极验自然成为了许多爬虫小伙伴不得不面对的问题。本文就来聊一聊，爬虫遇到用极验的网站，该如何是好。
2019-12-14 16:26:02
12743
7
原创 爬虫漫游指南：无头浏览器puppeteer的检测攻防
许多爬虫初学者在接触到无头浏览器的时候都会有一种如获至宝的感觉，仿佛看到了爬虫的终极解决方案。无论是所有爬虫教程中都会出现的PhantomJS、Selenium，亦或是相对冷门的Nightmare，到后来居上的Puppeteer，都能够作为爬虫工程师的利刃，撕开反爬的一道道屏障。无头浏览器难道就是爬虫的终点了吗？
2019-11-19 16:42:03
23751
9
原创 python进阶小技巧
记录3个近日学习到的python进阶技巧，既不是初级技巧，也不是非常高级的奇技淫巧，所以姑且称为进阶技巧，分别是：with, singledispatch和Flattening。
2019-11-05 15:16:16
10482
1
原创 爬虫漫游指南：加速乐__jsl_clearance破解
本文会介绍加速乐cookie中的__jsl_clearance的生成方式。纯粹技术讨论，如果侵害到任何人的利益，请联系本人邮箱yu_haojia@foxmail.com，会立刻删除。
2019-09-30 12:11:16
8039
原创 Supervisor监控多进程任务—手撸python监控
Supervisor监控多进程任务上回书说到，Supervisor进程监控之役，在下先取sendmail，再克Superlance，兵峰所指，所向披靡。却不知Supervisor大本营暗藏杀招，不输出非直接子进程的异常信息，一举扭转战局，我军兵败如山倒，最终劳民伤财一无所获。这一回，我军卷土重来，高举python大旗，采用斩首行动，直指问题根源。问题分析既然决定要自己写监控，那么首先要做的，...
2019-09-27 18:23:46
6496
1
原创 Supervisor监控多进程任务—Superlance
Supervisor监控多进程任务背景服务器上部署了一批Supervisor管理的任务，每个任务在启动后会各自启动多个进程，每个进程执行不同的脚本程序。由于脚本程序实在太多了，在Supervisor里面一个个配置会极其麻烦，所以采用了这种一个任务对应多个脚本的方案。大概就这么个意思，script.ppid = task.pid --> task.ppid = supervisor.pi...
2019-09-26 18:33:56
7788
原创 Docker入门笔记（1） — Dockerfile&.dockerignore
1. Dockerfile&.dockerignore本系列文章对Docker的介绍均翻译自Docker官方英文文档，不会去其他博客东拼西抄。文中会穿插一些自己在使用中的踩坑经历和心得体会。如有错误，敬请批评指正。
2019-07-04 11:49:57
5539
原创 python3.6使用line-profiler踩坑记录
前两天在服务器上使用top指令后看到load average到达了11.96, 12.78, 13.58，对于8核的机器来说这个load有些偏高了，之前load一般保持在5左右。于是，在top中按C查看进程详情，发现有一个脚本开了多进程，并且每个进程的CPU使用率都极高，初步断定就是这个脚本导致了服务器load飙升。随后检查了该脚本的代码，肉眼未能发现不妥之处，于是就需要用到本文要介绍的神器，line-profiler。
2019-06-03 11:24:11
8951
3
原创 Android逆向实战篇（加密数据包破解）
目录1. 实战背景2. 问题分析3. 实战记录1） 脱壳2） 找到解密函数3） 重现4. 总结阅读本文之前，建议阅读Android逆向实战篇（Https抓包）。1. 实战背景由于工作需要，要爬取某款App的数据，App的具体名称此处不便透露，避免他们发现并修改加密逻辑我就得重新破解了。爬取这款App时发现，抓包抓到的数据是加密过的，如图1所示（原数据较长...
2018-11-05 11:54:22
29069
15
原创 微信“跳一跳”外挂制作历程
微信“跳一跳”外挂制作历程最近微信出了个“跳一跳”小游戏还挺火的，但是我这种手残人士，小手一滑，棋子就不知道飞哪儿去了。那我气啊，排行榜得拉到底才能看到我的名字，手残肯定不是一两天能解决的，那就写个挂呗，让电脑精准到毫秒给我来按屏幕，那岂不是美滋滋。0.V1.0版人工不智能外挂这两天在网上看到过几个“跳一跳”辅助工具，有些人做了机器手指，每次跳之前用尺量一下两块方块之间的距离，然...
2018-01-02 16:50:59
12398
1
原创 Kali Nethunter安装指南
Kali Nethunter安装指南0.准备工作近日入手了一部“谷歌亲儿子”Nexus5手机，回想起了之前用小米note试图安装Kali的失败经历，既然拿到了官方指定的“亲儿子”型号，自然要再试一次。开始之前要先做好一些准备。第一步肯定是先获得手机的ROOT权限，现在一键ROOT工具也很多，随意下载一个完成ROOT即可，这里建议下一个刷机精灵，虽然有一点小缺陷不过挺派的上用场的...
2017-11-23 22:36:19
46855
3
原创 MobSF移动安全检测框架简述
移动安全分析框架 (MobSF) 是一个智能的、集成型的、开源移动App（安卓/iOS）自动检测框架，能用于静态检测和动态检测。该框架可以进行高效迅速的移动应用安全分析。文章将介绍MobSF的使用指南和检测项目，并对框架结构进行分析。1.MobSF使用指南（1）上传分析文件使用MobSF进行App安全检测的第一步，是将APK文件上传到MobSF上去，上传APK文件有以下三种方法。①...
2017-03-24 14:08:04
6349
原创 Android手机App安全漏洞整理
APP安全漏洞整理1.源码安全漏洞1.1 代码混淆漏洞当前APK文件的安全性是非常令人堪忧的。APK运行环境依赖的文件/文件夹 res、DEX、主配文件Lib 只有简单的加密或者甚至没有任何加密。诸如apktool这类工具可轻易将其破解，再配合其他例如dex2jar、jd-gui等工具基本可以做到：源码暴露、资源文件暴露、主配文件篡改、核心SO库暴露、暴力破解恶意利用等。因此需要对安卓...
2017-03-07 23:04:09
10664
原创 新浪云直播功能使用
新浪云平台直播功能实现1 新浪云直播申请与开通 新浪云直播(SLS)的优势在于，支持断点续流，海量CDN多线全网分发，可以满足海量用户同时观看实现高并发，而且能保证画面的流畅稳定。除此之外，SLS还支持各平台的兼容，可以轻松实现跨平台，这一点对于我们的跨平台在线教育而言至关重要，SLS的官方文档提供了网页端、安卓端和iOS端的接口，通过对这些接口的调用可以实现直播的跨平台，并...
2017-03-07 22:52:22
2410
原创 移动安全框架MobSF安装过程简介 （二）
上一步请看移动安全框架MobSF安装过程简介 （一）2.在你的Android设备或虚拟机上配置MobSF动态分析环境2.1 运行环境•root过的安卓设备；•支持平台：安卓；•支持版本：安卓4.03-4.4。2.2 配置步骤•重置设备；•在安卓设备中插入一张SIM卡（可选项）；•root你的设备；•从应用商店下载root检测器来检测root是否完成，确认完...
2016-12-29 14:53:50
2758
原创 移动安全框架MobSF安装过程简介 （一）
移动安全框架 (MobSF) 是一个智能化、一体化的开源移动应用（Android / iOS）自动测试框架，能够对以上两种移动应用进行静态和动态分析（动态分析目前暂时只支持Android）。它可以有效、快速地对应用APK 和IPA文件 及压缩的源代码进行审计分析。同时，MobSF 也能够通过其APIFuzzer功能模块，对 Web API的安全性进行检测，如收集信息，分析安全头部信息，识别移动...
2016-12-29 14:49:36
5491
原创 APP安全漏洞学习笔记
APP安全漏洞学习笔记 本文首先明确了APP安全的目标，然后对常见的APP漏洞进行了整理分析，并研究学习了APK的静态分析与动态分析技术，最后介绍了安卓的渗透测试技术和常见的安全评估工具。附录处整理了2014年和2015年的OWASP移动风险Top10.1.安卓APP安全的目标1.1保护用户的数据 用户在使用APP时通常不得不交付一些敏感数据给APP，如...
2016-12-28 21:46:16
5331
1
原创 手机App用户输入隐私数据的识别与检测技术研究
手机App用户输入隐私数据的识别与检测技术研究1.引言随着移动设备的普及，智能手机和手机应用已经成为日常生活中必不可少的一部分，与此同时，移动设备中的隐私问题也就变得日益重要。先前手机隐私相关的研究工作主要集中在手机操作系统预定义的已知来源上，例如位置信息、通话记录、短信等，这些内容都是通过预定义的系统API获取的。那些通过UI界面由用户自己输入的隐私信息，则被绝大多数工作所忽略了，但实际...
2016-12-28 21:42:19
4283
1
原创 Wireshark抓包实验
1 PC端实验1.1 PC端抓包Wireshark在上节课已经做过介绍，此处不再赘述，直接进入抓包过程。首先登录多米音乐官方网站http://www.duomi.com/，点击注册进行新账号注册，注册界面如图1.1所示。图1.1 多米帐号注册填写相关信息后点击注册，并在wireshark中查看相关报文，如图1.2所示。在图1.2中可以看到，五个项目分别对应了注册界面的五个...
2016-12-27 20:29:31
2284
原创 在虚拟机下安装kali linux
一、实验目的1.在虚拟机VMware中安装KaliLinux系统并试用该系统的相关功能。2.为进一步在安卓移动设备上安装Kali Nethunter做准备。二、实验内容1.在Windows10系统中安装VMware。2.在VMware中安装KaliLinux。3.初步使用Kali Linux。三、实验环境 操作系统：Windows10操作系统(64位)...
2016-12-27 19:45:03
5642
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人