- 博客(19)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 过某app的root检测
如何定位检测位置很棘手。使用jadx打开app。找了几处检测su路径的地方，无奈都不对。想到检测su路径的时候，需要使用java的java.io.File类来判断是否存在，spwan启动app，果然输出了很多带有su的路径。
2023-03-15 18:27:26
721
原创 利用squid搭建ip代理池
碰到这种情况，我们可以使用VPS来动态拨号搭建代理池，先在网站上把IP验证通过，再利用通过验证的IP对网站进行采集。如果IP被封从代理池删除掉，重新拨号验证就行。通过以上步骤，拨号服务器上拨号获得的ip就可以被我们拿来放在代理中使用了。我们可以在每一台VPS服务器上部署一个脚本，来控制拨号，获得ip并把ip写入redis代理池中，爬虫从redis代理池中随机取ip就可以了。的组件，不需要安装master和minion ,用salt-ssh实现以上批量安装配置非常方便，否则，我们一台一台的配置，还不累死！
2020-11-22 18:07:20
756
原创 移动手机用户目录下的证书至根目录下
首先手机需要获取root权限adb命令将抓包工具证书从用户目录移动至系统目录,解决反爬对于本地证书认证 adb shell #连接手机进入shell模式#su root #如果你不root权限可以试着这个一般都是rootcd /data/misc/user/0/cacerts-added #移动至于用户证书目录mount -o remount,rw /system #将系统证书目录权限改成可读可写就可以移动文件不然不行cp * /etc/security/cacerts/ #这里可以使用
2020-11-04 14:42:27
4836
原创 frida复杂类型参数打印、参数转换、调用栈打印
Frida是一款基于Python + JavaScript的Hook与调试框架。从Java层到Native层的Hook无所不能。我们分析app的参数加密的时候，经常使用他来帮助分析我们分析调试。在hook我们的关键函数的时候，我们经常会把参数打和函数调用栈印出来，方便我们分析app的加密行为。下面是总结的一些常用的方法：参数打印问题当参数是不是string类型的时候（HashMap、Map等），那我们打印出来查看的时候很可能显示[object Object]。下面的一些方法可以帮助我们把他们转成s
2020-06-17 11:00:16
20036
5
原创 python如何调用java方法
话说, python真的是无所不能。我们在抓app数据的时候，有很大概率会遇见参数加密的情况。我们费了很大力气，找到了加密的位置，扣出了加密的函数，但是由于是反编译后的java代码，对于用python写爬虫的程序员来说，如果再把java翻译成python，有时候就很困难了，特别是遇到了一些移位操作时候，由于python默认会把int转成long，java则是溢出，python和java相同逻辑，得到的结果却是不一样。那就更困难了。好消息是，python可以直接调用jar包。我们可以直接把加密代码直接打成
2020-05-31 10:15:42
3631
原创 利用BaseManager搭建分布式爬虫
multiprocessing模块分享进程间的通信的时候(参考(python进程间通信(二)－分布式进程)，介绍了Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上．一个服务进程可以作为调度者，依靠网络通信，将任务分布到其他多个进程中．我们可以利用这个思想，来搭建一套分布式的爬虫．实现架构采用主从模式，主从模式是指由一台...
2019-05-05 14:34:30
744
原创 python实现AES的加密解密
了解AESAES（Advanced Encryption Standard）是一种对称加密算法，相较于DES和3DES算法而言，AES算法有着更高的速度和资源使用效率，安全级别也较之更高．加密和解密使用的是同一个密钥．公式：C = E(K,P)：明文P，密钥K，AES加密函数组成E，密文C。主要要了解以下几点：AES密钥的长度使用的是128bite、192bite或256bite(位)...
2019-04-29 16:11:12
2249
原创 python实现RSA 非对称加密解密
在爬取网站信息的时候，经常会发现前端会对数据进行加密，其中就有RSA 这中加密．概念rsa是一种非常常见的非对称加密算法，rsa算法用到了一个公式: 谜文=明文EmodN 谜文=明文^E modN 谜文=明文EmodN对明文进行E次方运算，再对N取模操作得到谜文．相信到这里读者的疑问都是E和N到底是什么？其实这里的E（encryption）和N（number）的组合就是公钥(字符串形式)，也...
2019-04-28 17:36:55
3235
1
原创 爬虫--淘宝登录及生意参谋transit-id和data破解
生意参谋是淘宝商家分析市场行情最常见的工具之一．淘宝为了防爬虫可谓下了不少功夫．本次为了写一款抓取生意参谋数据的爬虫，真是费了不少很大的劲才破解里面的数据加密．1. 登录首先爬虫肯定是自动化抓取，所以登录自然是要自动登录，但是生意参谋的登录跟淘宝的是一模一样的，当你用selenium打开登录的时候就会被淘宝后端验证出来是个机器人。所以登录的话可以采用编译后的chromedriver来驱动ch...
2019-04-24 17:04:17
11801
21
原创 五．爬虫--京东登录破解（一）
本文主要写一下破解京东滑块的分析步骤，具体代码未做展示．本来以为京东的滑块验证码如果用selenium 直接滑动的话，会很容易．但是，万万没有想到，无论怎么滑，都没法成功．后来，决定直接请求接口试试吧，没想到成功了．所以，拿来分享一下了．输入用户名和密码后，点击登录京东是一定会出现验证码的．看着跟其他网站的验证码是一样的．第一步：获取背景图观察接口，找到这样一个接口返回值是这样的：j...
2019-04-12 23:22:57
45876
11
原创 四．爬虫--破解新浪微博登录加密
工作不忙，研究了新浪微博的登录．肯定是先抓包，得到登录的url为http://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.18)然后输入用户名，密码，在点击登录之前，我们可以在chrome浏览器上给Mouse的click设置一个断点，这样，方便debug我们点击登录按钮的时候，网站会对我们输入的内容作了哪些操作．通过反复的的...
2019-03-21 14:30:56
8004
21
原创 三．爬虫--破解今日头条加密参数
早段时间写了两篇破解js加密生成cookie的博文．最近研究了一下今日头条，同时参考了别人的研究成果，破解了今日头条的as,cp和_signature加密参数．分享一下．抓包发现头条首页推荐是post请求，查询字符串如图其中min_behot_time是时间戳，category,utm_source,widen都是固定的参数，只有as, cp, _signature需要我们找到．搜索一下...
2019-03-20 15:51:22
4881
5
原创 python进程间通信(二)－分布式进程
Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上．一个服务进程可以作为调度者，将任务分布到其他多个进程中，依靠网络通信．由于managers模块封装把网络通信的都给封装好了，所以即使我们不了解网络通信，也能写出分布式多进程程序．为什么使用分布式进程如果我们的一个通过Queue通信的多进程程序在一台机器上运行．随着要处理的任...
2019-03-18 16:14:03
843
原创 python进程间通信(一)
python 的之间有时需要通信，操作系统提供了很多机制来实现进程间的通信。1. Queue的使用from multiprocessing import Queue （可以用于多进程，但不能用于进程池）multiprocessing模块的Queue如果用与Pool创建的进程，会报错RuntimeError: Queue objects should only be shared bet...
2019-03-18 13:16:55
825
原创 二.爬虫--破解网站通过js加密生成cookie（二）
1. 引言在上一篇，我分析了中国土地市场网如何通过js加密获得cookie．进而得到网站的正确响应内容．这一次，接着再分析一个网站是如何通过js加密获得cookie的．会更复杂一些．2. 分析过程目标网站：中国医采网采集信息如下图直接使用chrome浏览器抓包：...
2019-03-15 15:50:25
3466
3
原创 一.爬虫--破解网站通过js加密生成cookie（一）
做爬虫这么久了,遇见过千奇百怪的网站．本次记录一次简单破解js加密的网站．目标网站：中国土地市场网采集信息：如图需要采集的内容就是行政区代码，标题，标题的url，和发布时间．好了，感觉应该不难．那我们先尝试一下吧：# -*- coding: utf-8 -*-import requestsurl = "http://www.landchina.com/default.aspx?t...
2019-03-15 11:16:09
8346
4
python-3.7.1-amd64.rar
2019-12-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人