成小新的博客

前言现如今直播间协议很多已经很少使用http轮询的方式获取直播间的弹幕、礼物、关注等，在用的目前知道的是某音的直播，其他的一些app已经使用socket或者websoceket获取直播间的弹幕等，本次主要针对websocket提供协议破解思路。设备：小米note8、windows案例：具体不提供，仅提供破解思路。抓包分析本次抓包使用的Charles进行抓包websocket，Charles配置简单，抓包方便。打开该app的直播间，在Charles中可以很清晰的看到，websocket发送的数据

前言上次文章iOS系统抓包入门实践之短链有说道关于常规抓包、路由直连以及单向证书校验的抓包方式，该文章将是在短链抓包中进行补充，主要是针对短链抓包中不太经常用到的双向证书，并进行破解和通过Charles抓取数据包，给大家提供一些解决思路。设备：越狱iPhone 5s、Mac案例：c291bA==，该app在之前安卓端已经完成双向证书破解。双向证书判断双向证书判断通过常规抓包的方式，进行梭哈，发现只要开启代理，该app提示未能读取数据，因为它的格式不正确。并且在Charles中发现400 No

前言作为爬虫工程师的基本功，抓包是经常遇到且非常重要的技能之一，尤其是现在的移动端的发展，更是在App抓包这里做了很多防护措施，本文主要是针对iOS系统App的数据包抓取进行大概总结，主要是针对常规App数据包抓取、突破路由直连抓包以及通过简单的逆向Hook手段突破SSL Ping防护抓取数据包。常规抓包对于常规无抓包防护的App数据抓取，可以直接在手机上通过设置HTTP代理的方式，配合Charles便可以抓取到目标App的数据包，不需要使用其他复杂的或者逆向Hook技术进行辅助。设备：iPhon

最近某手更新了8.0版本，这让我们的爬虫小伙伴可难受了。某手更新8.0之后，最直接的问题就是抓不到包。我们需要逆向分析一下8.0的网络协议，看看到底使用了什么技术，才让我们抓不到包呢。分析借助的技术&工具1、jadx2、frida网络请求框架分析请求协议通过查看app源码，可以清楚看到okhttp3的包名，使用okhttp3就很香。okhttp3分析1、打印网络请求通过他的sign活着sig3算法位置打印即可frida 是真的香 var s = Java.use("j.

目前网上最多的其实都是自己手动下载，这里说一下最简单的、最方便的解决方案。这里进行替换就好了，这里是不需要修改源码的。只要在我们引用之前设置下环境变量就好了。import osDEFAULT_DOWNLOAD_HOST = 'https://npm.taobao.org/mirrors'os.environ["PYPPETEER_DOWNLOAD_HOST"] = DEFAULT_DOWNLOAD_HOSTfrom pyppeteer import launch这里一定要注意引入顺序，设置

昨晚录得视频，包括了安卓刷机（twrp操作视频）、frida环境搭建、*5分的app实操，Bytes还原成字符串、Md5的Java源码Hook(真的可以5秒真男人)。刷机资料：“”"一般安卓手机刷机的方法分为卡刷与线刷。卡刷就是把刷机包放在内存卡上通过recovery刷。线刷就是通过刷机软件把刷机包从电脑上刷入手机。一般来说，卡刷更安全稳定，只要刷机包没错，手机电量充足就没事。【不过对于完全新手而已，借助工具进行线刷会比较方便】刷机大体分为两种方式。一种是卡刷，就是把要更新的手机系统文件（

开启飞行模式：必须要先执行1 再执行2--执行1adb shell settings put global airplane_mode_on 1 --执行2adb shell am broadcast -a android.intent.action.AIRPLANE_MODE --ez state true关闭飞行模式：--执行1adb shell settings put global airplane_mode_on 0 --执行2adb shell am broadcast

安卓7.0开始以及以上抓包的时候都要处理一下证书。改apk包、在电脑上上输入下面命令。openssl x509 -inform PEM -subject_hash_old -in getssl.crt | head -1 //得到类似字符串：f8ccc956cat getssl.crt > f8ccc956.0openssl x509 -inform PEM -text -in ...

*oulapp的双向证书破解今天简单说一下双向证书的破解，顺便说一个比较好用的工具，案例： c291bA==破解双向证书:之前见过单向证书校验，比如企查查、饿了么等，这个最简单的方法就是使用JustTrustMe，当然这个要依赖Xposed，手机没有root的话，你也可以使用太极、 VirtualXposed 等一些免root的xposed框架，这里就不主要说了，今天的重点是双向证书校验的...

网站是：aHR0cHM6Ly93d3cuZmVuZy5jb20v话说这个网站在过年前使用了aes算法，当然过年后也是aes，但就是把秘钥换了，换成更需要解密一段字符串，然后获得秘钥，最后请求时候再去用这个秘钥加密，并且最后发现秘钥和偏移是一样的。先来看看它的加密参数吧：X-Request-Id这个参数当然用全局搜索大法可以定位出来，如图：在r = He(data) 打上断点，这里是...

现在很多的app使用了so加密，以后会越来越多。爬虫工程师可能会直接逆向app，看java代码，完成java层的算法破解，但是如果遇到so该怎么办呢？可能你会直接破解so，但是真的会有很多爬虫工程师会去并且会破解so吗？有时候我们可以不用破解so，利用很多大佬写好的轮子即可完成so的调用。说到调用，就有很多方法了，比如用frida的rpc、xposed+andserver、再者就是un...

上次分析某查猫还是在9月份了，经过上次分析得出如下结论：请求和响应均用的aes进行加密客户端有加解密方式秘钥会自动变化第3条是昨天发现的，客户端没变，以前的秘钥无法解密昨晚搞出新的秘钥，和以前的变化不大这种秘钥会放在响应中并且会在一段时间后变化一次，不像普通app，放在Java层、so层，这种更是难以摸透，不知道什么时候会变化，不知道什么时候会影响你的爬虫，比如：休假的时候。。。。...

frida脚本:setTimeout(function () { console.log('start——*-*-*-*-*-'); Java.perform(function () { var SwitchConfig = Java.use('mtopsdk.mtop.global.SwitchConfig'); SwitchConfig.is...

看我如何骚操作“破解”sign和Authorization！！！这里要用到的工具/开发语言:1.Python(2或者3)2.App爬虫神器mitmproxy3.按键精灵4.还有之前的强制抓包工具postern之前经过逆向以及抓包等分析，发现这两个app的sign以及author等最为重要，而且还绑定了时间戳，这就导致我们如果不分析其加密算法就比较抓数据，但是最后通过测试发现如下：企...

目前天眼查、企查查APP均使用了ndk天眼查很早之前研究的。。。1.使用爱加密进行加固2.使用爱加密so，sm4进行加密3.Authorized使用imei、设备id等作为验证4.Authorized大概5分钟过期5.抓包可以使用手机端抓包工具和justtruestme参考以下（转载 ggl1438）：1.app登陆后拿到的值，可以放在cookie里面，这样可以进行web抓取，就...

这个问题比较坑，我的服务器内存比较低，所以导致了没法分配更大内存，启动时候直接fork: (12) cannot allocate memory squid这个问题解决起来也很简单。增加swap，我把swap扩到4g，然后启动在squid中启动就没问题了。具体参考这个在CentOS 7上添加Swap交换空间...

反安卓防抓包--no_proxy由于使用了Proxy.No_Proxy导致Fiddler 或 Charles 抓不到包解决方案是使用drony 就行。

企查查每日新增企业数据抓取尚未完成的工作：需要自行抓包获取设备id，appid，sign等等sign和时间戳保持一致即可把所有的数据库、redis配置无法自动登录，账号需要独立redis数据转存mysql企查查限制，每分钟请求大概不能超过30次，所有功能未加并发，请不要使用代理并发，会封账户的有些工作尚未完成，需要自己进行继续开发，可以找我要app的脱壳源代码，继续分析。已经完...

最近玩squid主要是为了爬虫代理，但是使用docker搭建squid的时候发现，docker一直默认使用的 ipv6，但是squid使用ipv4，导致无法绑定，出现commBind: Cannot bind socket FD 18 to [::1]: (99) Cannot assign requested address squid 这个error，怎么使用docker禁止ipv6都没用，最...

需要pyppeteer下载文件，网上没什么资料，自己摸索了下。def check_file(path):#利用文件下载之后，是否存在这个文件来判断下载是否成功， while not bool(os.listdir('C:/' path)): pass return bool(os.listdir('C:/' path))async def main...

这里不使用用户名和密码的配置，以后会加上，否则服务器会变成别人的爬虫代理和肉鸡。安装：#yum install squid -y查看是否安装成功：#rpm -qa | grep squidsquid-3.5.20-12.el7_6.1.x86_64squid-migration-script-3.5.20-12.el7_6.1.x86_64配置：修改的是/etc/squid/squ...

1.这个问题要么换3.6要么改源码 File “c:\users\administrator.user-20160420ae\appdata\local\programs\python\pyt hon37-32\lib\site-packages\twisted\conch\manhole.py”, line 154 def write(self, data, asyn...

MitmProxy 是一个支持 HTTP 和 HTTPS 的抓包程序，类似 Fiddler、Charles 的功能，只不过它是一个控制台的形式操作。同时 MitmProxy 还有两个关联组件，一个是 MitmDump，它是 MitmProxy 的命令行接口，利用它我们可以对接 Python 脚本，用 Python 实现监听后的处理。另一个是 MitmWeb，它是一个 Web 程序，通过它我们可以...

最近闲来无聊，接到一个面试题，爬企查查新增企业数据乍一看很简单哇，打开网页，一顿操作猛如虎，一看战绩，这怎么限制了,网页版只有100条数据，打开app看下，新增企事业数据这么多，但是得开会员啊。淘宝买吧，买好之后就开始搞，各种手段，安卓模拟器抓包，模拟各种参数，这次真的是一顿操作猛如虎啊。{'Value': 1101, 'Desc': '北京市', 'Count': 6725, 'prov...

企查查app sign算法破解从上次抓取企查查app数据之后，一直有一个问题，就是对其要进行脱壳、逆向、然后才能在源码中找sign的算法。昨天一个偶然机会，得到企查查的sign算法，并未进行脱壳和逆向，是使用js的方式找到相关算法，虽然是js找得到的，但是经过我测试，可以用在app上边，都是相同的接口关于token的破解：其实企查查的token是在服务端进行计算的，但是经过分析，发现它有一...

上次把sign加密其中的一个参数找到了时间戳，这次继续找其他参数。就找这个cOI。企查查app sign算法破解初步探索继续同样的套路ctrl+shif+f搜索cOI我靠-------这也太多了吧，筛选一下 搜索cOI =点击第二个，我们继续看，这个是设置设备id，好像在哪见过，不管了，这个我们可以伪造一个，只要sign和设备ID相同就行。这次我们又找到设备id，现在就只差aXM这...

天眼查sign 算法破解最近真的在sign算法破解上一去不复返前几天看过了企查查的sign破解今天再看看天眼查的sign算法破解，说的好（zhuang）点（bi）就是破解，不好的就是这是很简单的东西啊，只需要找key就可以了，话不多说，看破解之路。这个不是天眼查的appsign，app没用到sign，用的Authorization，所以啊，要去研究Authorization，下次有时间继续...

企查查app sign算法破解初步探索之前有说过企查查的sign的解密，但这次是企查查app的sign算法破解，目前是初步进程。目前我们需要做查壳，具体方法可以百度搜索，企查查用的360加固，很简单，我去脱壳一下。脱完壳，我们需要逆向dex，如何逆向呢？？？我们可以借助jeb工具，具体用法百度一下，我这里用的是手机端反逆向。逆向之后我们现在需要把class文件反编译为java文件，用到工...

目前写的四篇文章已经被删除，且无法再次通过审核。如果有需要可以联系我或者去博客园查看

为了提升逆向技术，最近几日研究了企cha查的sign和启xin宝的token算法，目前已经成功破解，两个app均是最新版，并将企cha查写成爬虫小demo，放在github上，详情查看 https://juejin.im/post/5d609fd26fb9a06acb3eab29 具体不在多说，今日继续启xin宝的token破解。启xin宝的token破解可谓是有点小难，秘钥在ndk里面，比较难...

启xin宝app的token算法破解——抓包分析篇（一）文章已经对该app进行了抓包分析，现在继续对它进行逆向。对于一个app而言，我们要逆向app，需要知道什么呢？逆向工具Java基础，甚至c和汇编基础加固类型和脱壳工具安卓开发基础对安卓系统的认知对xposed的认知smali基础以上这些是必须了解甚至掌握的，爬虫逆向路上越走越远了。回归正题，该app是怎样一种app呢？...

前两篇文章分析该APP的抓包、的逆向：启xin宝app的token算法破解——抓包分析篇（一）启xin宝app的token算法破解——逆向篇（二）本篇就爱你是对token静态分析，其实很简单就可以搞定那种。通过idea的全局搜索，直接搜索"token"直接找到token在哪里，上图。找到了，进去看看，这是MessageUtil类里面，可以看下MessageUtil的具体方法:\具体代码...

前两篇文章分析该APP的抓包、的逆向：启xin宝app的token算法破解——抓包分析篇（一）启xin宝app的token算法破解——逆向篇（二）启xin宝app的token算法破解——token分析篇（三）本篇就将对token的秘钥进行hook，使用上篇提到的frida进行hook，hooknative方法，获取到秘钥和偏移。对于frida是什么？Frida是一个动态代码插桩框架，这...

通过最近几天的对企查猫的研究，目前已经成功将企查猫的数据加密和响应数据加密完成解密。和之前对启信宝APP的数据解密操作基本一样，不过企查猫对请求和响应都使用aes加密了，抓包的时候可以看到，具体可以自己抓包试试。企查猫的请求是对请求数据表单加密"{"ad_search_type":0,"ad_state":false,"option":4,"u_id":59277","u_name":"qcm_0...

这世界真的什么人都有，哎，继续分析。通过对工程点点的逆向和抓包分析，发现工程点点需要x-sign和token验证。这些代理可以很清楚的看到token和sign是怎么来的，不具体多说。这个token使用的是usertoken，usertoken怎么获取呢？？自己分析登录接口就行了。那么sign怎么来的呢？？很明显md5，具体是怎么做的呢，涉及到该公司的利益，不能过多透露，反正是对请求参数进行某...

出现configure: error: The Sodium crypto library libraries not found.错误或者notfound1、下载并解压wget https://download.libsodium.org/libsodium/releases/libsodium-1.0.18-stable.tar.gztar -zxf libsodium-1.0.18-sta...

squid在做爬虫代理时候，我们只需要做到一个squid代理，然后对其他代理做转发轮询，如何使用squid做代理并自动转发轮询？加上这行代码：cache_peer 120.xx.xx.32 parent 80 0 no-query weighted-round-robin weight=2 connect-fail-limit=2 allow-miss max-conn=5 name=proxy...

以下命令要使用终端进行 1.安装brew ruby -e “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)” sudo chown -R $(whoami) /usr/local/Cellar #赋予权限，防止出现一些权限错误2.安装python3（可以不用安装，我...