- 博客(31)
- 资源 (12)
- 收藏
- 关注
RSS订阅
原创 解决selenium无法得到全量的cookie问题
解决selenium无法得到全量的cookie某爬虫工程师：selenium无法得到全量的cookie？这是什么问题？我用起来没问题啊。嗯，是的。如果你仅仅抓取单域名网站很可能遇不到这个问题，仅仅通过webDriver.manage().getCookies()这个方法就可以获取cookie。selenium无法得到全量的cookie的场景：多域名网站群。实战场景举例：当年我在某互金公司做淘宝、支付宝网站用户信息抓取的项目的时候，用户会通过我们爬虫服务api传给我们账户/密码或者扫码我们劫持的淘
2021-01-21 18:14:00
6308
1
原创 高效爬虫思维之将curl命令解析成功http请求对象
欢迎使用goniub 我带来的不仅仅是一个框架，最重要是做爬虫的思想。感谢大家的关注，因为各种原因文档迟迟未更新。但是还是有“识货”的人，进去看了goniub的源码。因为觉得好用所以给了star和fork，我再次由衷感谢大家对goniub的认可。** goniub是一个java爬虫工具库，如果你想提高开发爬虫的效率，如果你用selenium老是被网站检测到机器识别，如果你想实现js注入。请你立马用goniub。**添加maven依赖<dependency> <groupId&g
2021-01-21 18:10:51
941
原创 欢迎使用goniub 我带来的不仅仅是一个框架，最重要是做爬虫的思想。
欢迎使用goniub 我带来的不仅仅是一个框架，最重要是做爬虫的思想。感谢大家的关注，因为各种原因文档迟迟未更新。但是还是有“识货”的人，进去看了goniub的源码。因为觉得好用所以给了star和fork，我再次由衷感谢大家对goniub的认可。** goniub是一个java爬虫工具库，如果你想提高开发爬虫的效率，如果你用selenium老是被网站检测到机器识别，如果你想实现js注入。请你立马用goniub。**添加maven依赖<dependency> <g.
2021-01-21 18:06:48
1163
1
原创 java版本的mitmproxy-java 终于有了
欢迎使用mitmproxy-javamitmproxy-java是基于mitmproxy-hub实现的java版客户端。你可以像使用原生mitmproxy一样使用它。推荐环境Mitmproxy: 5.3.0Python: 3.6.8OpenSSL: OpenSSL 1.1.1h 22 Sep 2020Platform: Darwin-20.1.0-x86_64-i386-64bit启动mitmproxy-hubgit clone https://gi..
2020-12-07 20:59:26
2792
11
原创 唱吧android逆向加密算法笔记 此文章已做脱敏处理不会对原厂家app安全构成威胁，仅供学习
###### Class com.changba.utils.NetworkEncrypt (com.changba.utils.NetworkEncrypt).class public Lcom/changba/utils/NetworkEncrypt;.super Ljava/lang/Object;.source "NetworkEncrypt.java"# static fields.field public static a:J = 0x0L.field private stat
2020-05-12 15:16:56
1955
4
原创 微信视频号逆向分析+核心爬虫代码
基于微信7.0.12版本，请自寻下载对应微信版本。打开jadx反编译工具自行比对，主要怕你以为我骗你。至于这个爬虫代码如何运行，请关注我的逆向工作台hooker项目：https://github.com/CreditTone/radar-frida，打开脑洞好好思考一下。题材过于敏感，这里不多作介绍。package gz.wxvideo;import com.tencent.mm.plug...
2020-04-30 17:30:56
13520
17
原创 hooker内存漫游查看对象内部属性数据
最近，有粉丝问我hooker如何获取对象内部属性数据。无论是a、b、c命令扫描出来的对象，还是你hook脚本hook方法对应的所属对象都有办法获取内部属性数据。关键条件：ObjectId！！！大家一定要搞到你要窥视这个对象的ObjectId。a、b、c命令扫描出来的对象获取内部属性abc命令扫描的对象，都会自动生成ObjectId。以a命令扫描Activity为例hook脚本对应的对象hook脚本默认不会给你ObjectId，这时候你要手动把对象放入ObjectStore当中。hook构造
2021-04-27 18:06:58
662
原创 hooker pro入门文档
欢迎使用hooker逆向工作台，让安卓应用开发工程师教你如何逆向安卓应用。hooker简介hooker是一个站在Android应用开发工程师的角度打造的适用于Android逆向工程人员和安全研究人员的工具包。为逆向开发人员提供自动化生成frida的hook脚本、内存探测java类、检测activity和service和其他任意对象。hooker和frida、objection有什么不同？职责不同：frida注重打造调试引擎、objection注重将frida的api简单封装一下让你好快速上手f
2021-03-19 14:06:32
2267
2
原创 hooker自动化生成frida脚本和objection自动化效果对比
hooker自动生成frida脚本和objection生成脚本测试我们挑一个混淆比较厉害的类看下hooker自动生成的frida脚本和objection生成的区别hooker生成的：//okhttp3.HttpUrlJava.perform(function() { var okhttp3_HttpUrl_clz = Java.use('okhttp3.HttpUrl'); var okhttp3_HttpUrl_clz_method_equals_6085...
2021-03-11 15:22:02
1568
1
原创 mitmproxy-hub让所有语言都可以使用上mitmproxy
欢迎使用mitmproxy-hubmitmproxy非常适合捕捉网络流量，但是对于Java用户没有简单的接口。软件测试社区，特别是爬虫、中间人攻击测试人员，希望能够捕获设备在Java测试期间发出的网络请求。为此,基于grpc开发了mitmproxy的中央服务，任何语言都可以基于mitm_hub.proto实现的回调定义生成自己的远程客户端代码。以便在你的语言环境上也能像在python本地一样，使用remotemitmproxy。推荐环境Mitmproxy: 5.3.0Python:.
2020-12-07 20:56:36
697
1
原创 微信是怎么防止xposed进行hook的
这里写自定义目录标题微信是怎么防止xposed进行hook的微信是怎么防止xposed进行hook的逆向版本微信7.0.12，防止你微信不是吃素的，各位爬虫不要觉得学了几个技术就觉得了不起。我搞得app比你搞得网站还多。...
2020-04-23 16:07:33
3016
6
原创 aslist，gloang线程安全可排序的list
aslistaslist(A Sorted List)是golang语言实现的线程安全可排序的list。便捷的调用方式，使开发者快速入门使用。前言近来有喷子喷我，说golang有排序框架何苦要自己造轮子。我只想说中国的拿来主义思想就是导致今天中国为何终始没有自主研发的操作系统，没有自己的芯片。你跟我说这句话就像问"已经有了Java为什么还要学Golang、为什么男人有了老婆还想有小三...
2020-01-08 19:43:29
1586
1
原创 gloang敏捷开发日志框架colorfulog
colorfulog是一个简单且易于扩展的日志框架，其本身提供的功能非常简单，但是很实用。程序员查找日志最重要两个信息，日志输出的文件和行号。另外如果有输出颜色区分那最好不过了。无奈市面上所谓的大名鼎鼎的日志框架logrus、seelog自以为封装的极好。但是仍然get不到程序员最痛苦的点。快速开始go get -u github.com/CreditTone/colorfu...
2019-12-28 15:48:57
259
原创 新浪爬虫微博个人地址公司等信息抽取正则表达式
新浪把用户信息生成js。然后动态执行js生成html。所以大家看到为什么在html标签里面找不到信息。大家，下面的正则对静态页面抽签就可以了。 抽取微博数：>(\d+)微博 抽取地址：2[\\rnt\s]+[\\rnt\s]+([^\\rnt\s]+[ ]{0,1}[^\\rnt\s]+)[\\rnt\s]+
2015-08-21 11:08:20
1745
原创 如何做最好的定向爬虫架构
如何做最好的定向爬虫架构姓名：郭钟当前职位：某创业公司担任爬虫工程师 摘要随着互联网信息的不断发展，信息数据的挖掘技术也不断的发展。网络爬虫技术也随之得到了巨大的发展。而对于内容型驱动的网站来说反扒是一件必不可少的事情。很多网站用Jquery加壳、登录验证、限制单位IP每秒请求次数来阻止爬虫窃取数据。所以爬虫的智能性也受到越来大的挑战。特别是国内高匿代理IP资源少的问题给爬虫的
2015-03-21 19:43:08
6737
转载 Android翻页效果原理实现之曲线的实现
尊重原创转载请注明：From AigeStudio（http://blog.youkuaiyun.com/aigestudio）Power by Aige 侵权必究！炮兵镇楼上一节我们通过引入折线实现了页面的折叠翻转效果，有了前面两节的基础呢其实曲线的实现可以变得非常简单，为什么这么说呢？因为曲线无非就是在折线的基础上对Path加入了曲线的实现，进而只是影响了我们的Region区域，而其他的什么事
2015-01-15 10:34:19
505
转载 java中 volatile 的作用详解
用在多线程，同步变量。 线程为了提高效率，将某成员变量(如A)拷贝了一份（如B），线程中对A的访问其实访问的是B。只在某些动作时才进行A和B的同步。因此存在A和B不一致的情况。volatile就是用来避免这种情况的。volatile告诉jvm， 它所修饰的变量不保留拷贝，直接访问主内存中的（也就是上面说的A)=========================分割线1============
2014-12-18 12:53:12
551
原创 Linux(RedHat,Centos)上scrapy详尽安装笔记
Scrapy是一款非常成熟的爬虫框架，可以抓取网页数据并抽取结构化数据，目前已经有很多企业用于生产环境。对于它的更多介绍，可以查阅相关资料（官方网站：www.scrapy.org）。我们根据官网提供的安装指南，来一步步安装，主要参考了http://doc.scrapy.org/en/latest/intro/install.html页面的介绍：view plainRequi
2014-12-15 18:41:10
570
原创 解决python安装Twisted CompressionError: bz2 module is not available
CompressionError: bz2 module is not available解决方法：1.wget https://pypi.python.org/packages/source/T/Twisted/Twisted-14.0.0.tar.bz2#md5=9625c094e0a18da77faa4627b98c98152.tar -jxf Twisted-14.0.0
2014-12-15 17:49:06
2984
原创 CentOS下python安装pip。干货
从pip官网 https://pypi.python.org/pypi/pip 下载pip的源代码#解压tar -zxvf pip-1.5.5.tar.gz cd pip-1.5.5#安装python setup.py install如果你没有安装setuptools，而你的机器又没法联网运行python setup.py install你会
2014-12-15 15:37:56
645
原创 easy_install 异常(zipimport.ZipImportError: can’t decompress data; zlib not
easy_install 错误(zipimport.ZipImportError: can’t decompress data; zlib not available)下载setuptools-xx.egg文件，没想到出现以下错误zipimport.ZipImportError: can’t decompress data; zlib not available解决办法：1、安装依
2014-12-15 15:13:14
786
原创 CentOS升级Python到2.7
CentOS 6.3上安装的python版本是2.6，不能满足我运行软件的要求，所以对python进行升级。Python的最新版本已经是3.3，但是Python3的兼容性可能还有一定的问题，所以还是升级到2.7较为保险。Python 2.7也能够满足绝大多数的软件需求了。原以为这也就是安装个软件的事儿，在我求稳搜索一下了之后发现，也并不是那么单纯简单。下载，解压，编译，安装，这些都是常
2014-12-15 14:32:35
440
转载 Android中可以做的两件坏事---破解锁屏密码和获取Wifi密码
之前的文章一直在介绍OC，最近也是在找急忙慌的学习IOS，所以Android方面的知识分享就有点中断了，但是我现在还是要靠Android吃饭，所以不能Android的工作不能停呀，今天咋们来看一下我在现实中遇到的两个问题和解决方案问题一：忘记手机的锁屏密码了Android中在设置中的安全菜单栏中是可以设置锁屏密码的，有直接的文本密码和手势密码(我们一般会用到的两个密码)，但是有时候
2014-12-14 20:03:57
634
原创 解决ImportError: Error loading object 'scrapy.core.downloader.handlers.s3.S3DownloadHandler': No modul
python开发scrapy框架时如出现如下ImportError: Error loading object 'scrapy.core.downloader.handlers.s3.S3DownloadHandler': No module named win32api解决办法安装pywin32python有大量的插件、库都是需要在英文的网页上去下载，如果
2014-12-12 10:42:10
2505
转载 windows下python的包管理器pip安装.超简单
如果是真正做python开发，要用到第三方包，python的版本就必须是2.7.x，我用到的twisted和ReportLab都不支持3.0以上的版本。http://www.pip-installer.org/en/latest/installing.html#python-os-support主要就是两步，安装setuptools，安装pip，先下载两个文件ez_setup.py
2014-12-11 18:51:12
814
转载 python中使用JSON
什么是json：JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一个子集。JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的
2014-12-11 14:07:14
486
转载 tomcat连接池配置详解
一、连接池配置 bean class="org.apache.tomcat.jdbc.pool.PoolProperties"> property name="url" value="${jdbcUrl}"/> 数据库驱动--> property name="driverClassName" value="com.mysql.jdbc.
2014-11-24 11:53:26
621
清华aosp-20200401.tar百度网盘下载
2020-04-30
GuozhongCrawler1.21API文档
2015-06-08
docker.io_1.0.1~dfsg1-0ubuntu1~ubuntu0.14.04.1_i386.deb下载
2015-05-01
get-pip.py下载
2014-12-11
zxing条形码/二维码开发包源码
2013-12-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人