
爬虫
风音往
这个作者很懒,什么都没留下…
展开
-
xposed报错无法下载zip,could not load available zip files解决方案
1.科学上网就可以下载了2.如果无法科学上网去https://dl-xda.xposed.info/framework/下载对应版本的zip文件然后复制到/sdcard/Android/data/de.robv.android.xposed.installer/cache/downloads/framework/文件夹下,重启一下手机。在xposed右上角选项给show outdated versions打上勾,就可以看到了,安装即可...原创 2022-03-21 20:41:03 · 14813 阅读 · 2 评论 -
pixel显示网络无法连接解决
其实是可以联网的,但就是看着不舒服输入以下三行命令即可adb shell settings put global captive_portal_server www.google.cnadb shell settings put global captive_portal_https_url https://www.google.cn/generate_204adb shell settings put global captive_portal_mode 0...原创 2022-03-21 18:14:59 · 7172 阅读 · 0 评论 -
python使用TLS1.2协议请求
针对部分网站使用python请求出现403等,强制使用tls1.2发包的场景如某盛优选小程序,fiddler重新发包正常,用程序请求失败1.urllib版本context = ssl.SSLContext(ssl.PROTOCOL_TLSv1_2)response = urllib.request.urlopen(url=urllib.request.Request(url=url, headers=headers), data=d原创 2021-07-28 12:17:53 · 5891 阅读 · 0 评论 -
python如何处理ࢮ这种编码的文字
python2import HTMLParser char = r"〹" http_parser = HTMLParser.HTMLParser(); uChar = http_parser.unescape(char); python3from html import unescapes = '<meta property="og:description" content="3月1日发原创 2021-03-12 16:30:35 · 1649 阅读 · 0 评论 -
mac使用Browsermob-Proxy
mac使用Browsermob-Proxy这个文件不要用后缀为 bat的,那是windows用的使用browsermob-proxy这个linux版本的文件修改browsermob-proxy这个文件中java的路径改成你自己java的安装目录即可原创 2021-02-24 10:31:09 · 1229 阅读 · 1 评论 -
docker中使用selenium截图,中文乱码解决
查找很多资料,发现根本原因就是镜像中未安装中文字体首先下载字体库搜索下载即可附上一份宋体的资料链接: https://pan.baidu.com/s/1FoxHeCseBhaItnxGuDBX2w 密码: 0c6s在DockerFile中添加COPY simsun.ttf /usr/share/fonts/ttf-dejavu/simsun.ttf完成...原创 2020-12-07 21:45:32 · 640 阅读 · 0 评论 -
android8抓包
1.首先将证书放在电脑中执行openssl x509 -inform PEM -subject_hash_old -in charles-ssl-proxying-certificate.pem | head -1 注意如果是fiddler的证书需要先转为pem后缀的形式openssl x509 -inform der -in fiddler.cer -out fiddler.pem======出现一串数字f0172217将这串数字加’.0’作为证书名字放入手机系统证书文件夹下原创 2020-11-18 15:56:41 · 528 阅读 · 0 评论 -
centos7配置pyppeteer环境
1.安装pyppeteerpip3 install pyppeteer2.第一次运行程序时,会自动下载chromium[W:pyppeteer.chromium_downloader] start chromium download.Download may take a few minutes.有时候可能因为国外下载速度太慢导致失败这是修改安装包pyppeteer文件夹下的chromium_downloader.py文件修改DEFAULT_DOWNLOAD_HOST = 'https:原创 2020-09-10 12:32:32 · 1110 阅读 · 0 评论 -
七麦数据analysis加密算法
2020年8月web版本可用算法已转成python接单app逆向,js逆向,有需求联系V:Nanch51188#!/usr/bin/python3# encoding: utf-8"""@author: fengyinws@contact: fengyinws@163.com@software: fengyinws@file: decrypt_qm.py@time: 2020/8/15 10:53@desc: 七麦js加密算法"""import reimport timefr原创 2020-08-24 16:21:15 · 937 阅读 · 3 评论 -
爬虫排坑之pyquery使用
doc = pq(response.text)在获取分类列表是,我使用doc(‘div’).items()这个方法时再次遍历发现出现空值打印出来发现,此方法是一个生成器对象这就明白了关键点doc().items()方法返回的是生成器,切记...原创 2020-07-09 14:18:02 · 275 阅读 · 0 评论 -
andriod9抓包https
在andriod7以上版本,系统不再信任用户级的证书,只信任系统级的证书,所以要抓包就需要把我们的代理程序证书安装至Android的系统目录中。这个就有点坑爹了哦这样的话,手机必须root才可以1.生成证书将Filddler或者其他抓包程序的证书导出,一般为xxx.cer或者xxx.pem使用openssl的x509指令进行cer证书转pem证书 和 用md5方式显示pem证书的hash值tips: 查看openssl版本的指令openssl version#openssl版本在1.0以下的原创 2020-07-07 14:57:27 · 888 阅读 · 3 评论 -
几个比较好用的爬虫库
一、类似 Requests 的库为什么要推荐类似 Requests 的库呢?Requests 不够好吗?虽然 Requests 对于新手很容易上手,但它是同步的、并不是异步设计的。在 HTTP 请求的时候是需要 IO 等待的。比如说,当你使用 Requests 库进行请求,网站进行返回的时候,这时 IO 就会阻塞,程序就需要等待网站的返回,这就让爬取速度变慢了。那么异步的好处在哪呢?(侯爵老师兴奋的停不下来,继续说着)Python 的代码是一行行去执行。也就是说,如果哪一行是非常耗时间的,之后的所有原创 2020-06-30 10:55:04 · 8495 阅读 · 0 评论 -
selenium的常用方法-实战讲解
基本使用demofrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWait.原创 2020-05-29 12:05:50 · 227 阅读 · 0 评论 -
搭建简单的http代理服务器
1.安装squidyum install squid2.修改配置文件vi /etc/squid/squid.conf将http_access deny all 中deny 改为allow,http_port后面的是端口号,默认为3128。可改可不改。3.重启服务 service squid restart到这里,就配置完成了。...原创 2020-05-20 11:15:33 · 8564 阅读 · 0 评论 -
smali语法快速入门
Samli文件详解通过反编译工具反编译出来每个.smali,都对应与java中的一个类,每个smali文件都是Davilk指令组成的,并遵循一定的结构.smali存在很多的指令用于描述对应的java文件,所有的指令都以”.”开头,常用的指令如下:.filed 定义字段.method…end method 定义方法.annotation…end annotation 定义注解.implements原创 2020-05-18 11:55:21 · 1239 阅读 · 0 评论 -
js逆向实战
最近遇到了很多加密问题,需要做js逆向,app逆向。就简单写一个破解成功的js逆向案例吧就我个人而言,不太喜欢写爬虫相关的实战方法,毕竟灰色地带。首先声明,本文仅做技术交流,请不要用于商业用途。如有侵犯,请联系删除。1.定位问题直入主题,我们首先发现这题在哪看一下这段url我们把params拿出来jsv: 2.5.1appKey: 12574478t: 1588565848...原创 2020-05-04 15:22:50 · 4250 阅读 · 2 评论 -
python正则对于分组情况使用re.sub()
@TOCpython中正则re模块是我们经常用到的,这里说一下替换功能re.sub方法1.re.sub的适用情况对于一段字符串,要将其中满足一段一定条件的子字符串转化成另一种指定字符(自定义,语文不好,将就着看)举个例子,比如我们需要将所有数字转化成 *。这时候使用replace会很麻烦,当然实现方法很多,都不是特别好s = "1234nbxxcvb56123121312vbx312f...原创 2020-04-29 18:06:05 · 1842 阅读 · 0 评论 -
execjs调用第三方js库
在用python执行js代码时,突然遇到一个问题,execjs怎么才能正常调用js的第三方库使用js内置方法当时我也是查了好多资料才解决的,截至我写这篇文章,网上的解决方法几乎搜不到,全都是execjs的使用方法,所以记录一下给大家分享出来作为一个入门的爬虫工程师,经常会遇到破解js的情况对于一些Python实现起来比较麻烦的js代码(其实就是懒),当然会借助execjs来执行js代码先说...原创 2020-04-16 19:32:25 · 9768 阅读 · 2 评论 -
android模拟器安装frida
以windows为例1.打开模拟器usb调试2.进入到安装模拟器文件夹的bin目录中adb connect 127.0.0.1:port注:谷歌模拟器端口为5555夜神模拟器 adb connect 127.0.0.1:62001逍遥模拟器 adb connect 127.0.0.1:21503木木模拟器 adb connect 127.0.0.1:75553.下载frida...原创 2020-04-06 15:05:50 · 2143 阅读 · 4 评论 -
xpath的进阶--模糊查询与逻辑运算符
Xpath进阶1.模糊指定包含某字段使用contains所有id包含字符abc的标签a //a[contains(@id,'abc')]以什么字段开头所有属性href以‘http://v’开头的a标签 //a[starts-with(@href,'http://v')]以什么字段结尾所有以’fg’结尾div标签 //div[preceding-sib...原创 2020-03-10 16:01:54 · 915 阅读 · 0 评论 -
一些常见的正则匹配
一些常见的正则匹配1.匹配小数以及整数由于工作中常常需要些重复性的正则,所以决定记录一下,持续更新,如果大家有什么常见的也可以评论补充一下。1.匹配小数以及整数对于既有小数又有整数的情况,如5L和5.6ml这种"([0-9]{1,}[\.]{0,1}[0-9]{0,2})"...原创 2019-11-07 19:24:35 · 138 阅读 · 2 评论