
爬虫
WBerica
这个作者很懒,什么都没留下…
展开
-
python布隆过滤器实现去重详解
class bloomfilter(object): # 调用方法 bloomfilter.__REDIS_BLOCK_MAX_SIZE __REDIS_BLOCK_MAX_SIZE = 268435456 _key = "" _block_dict = {} _bloomfilter_size = 0 # m _hash_func_...原创 2020-10-15 15:47:51 · 391 阅读 · 0 评论 -
安卓逆向入门
一:环境准备目标app(1)如果是国内市场的软件直接搜索找到安装包即可(2)如果软件的目标市场是国外的话,就要科学上网去找一下抓包软件(1)我这边使用的是charles ,也可以选择fiddler,mac下没有fiddler(2)配置charles 电脑版安装charles 并进行简单的配置,如果抓取的是app的包,配置:Proxy–>SSL Proxying Settings–>SSL Proxying 添加一个配置 host和port都直接用*号代替,电脑版就配置完了)原创 2020-05-18 15:29:47 · 443 阅读 · 0 评论 -
adb链接模拟器
不同的模拟器的端口不一样,所以链接不同的模拟器有不同的链接方式不指定端口 默认adb 链接的是5555端口夜神模拟器adb connect 127.0.0.1:62001逍遥模拟器adb connect 127.0.0.1:21503mumu模拟器(网易的)adb connect 127.0.0.1:7555window电脑一般都会带有adb的命令,直接去命令行页面使用adb 链接...原创 2020-04-27 15:14:28 · 1402 阅读 · 0 评论 -
手动实现url去重
根据请求的url、请求方法、请求参数、请求体进行唯一标识,进行比对,由于这四个数据加到一起,内容较长,因此使用求指纹的方式来进行去重判断。指纹计算方法,最常用的就是md5、sha1等hash加密算法,来求指纹,找个地方保存指纹即可def _to_bytes(string): """为了兼容py2和py3,利用_to_bytes方法,把所有的字符串转化为字节类型""" if si...原创 2019-10-12 10:37:16 · 345 阅读 · 0 评论