
爬虫
我来了007
员工
展开
-
mitmproxy 使用mitmdump 过滤请求
mitmproxy 抓包工具,优点可以使用python进行二次开发,或者进行接口的mock官网地址:mitmproxy - an interactive HTTPS proxy打算用这个最初的需求是,想对app做接口测试,但是app的接口有200多个,这么多接口,如果人工的的抓包或者获取,很浪费人力,那能不能自动的抓取到所有的请求呢?答案是可以,使用mitmdump -s xx.py 可以过滤我们想要的数据,比如存到数据库之类的from mitmproxy import ctx#原创 2022-01-07 11:34:29 · 2075 阅读 · 0 评论 -
java的简单获取url
现在获取数据大多都是python,但是java页可以package test;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;import java.io.IOException;import java.util.ArrayList;import java.util.List;/** * @原创 2021-09-18 10:42:35 · 1168 阅读 · 0 评论 -
关于小花生书有会的解密过程
通过app进行获取时发现返回的不是单纯的json如m和c 可以确认是获取的对应的数据码,但是j 就是通过某些编码,通过脱壳发现还是json对称加密发现是先通过64位加密,之后是gzip加密上代码import osimport jsonimport codecsimport base64import gzipimport copyimport timeimport re# import datetimefrom datetime import datetime, .原创 2021-09-13 16:54:32 · 2139 阅读 · 0 评论 -
关于 小红书 x-sign 的数据的破解
该文章主要提供交流学习使用,请勿利用其进行不当行为!如本篇文章侵犯了贵公司的隐私,请联系我立刻删除!由于最近比较忙,暂时没有更新,这段时间会及时更新的在获取 小红书x-sign 时候发现数据为必须添加x-sign,authorization和User-Agentx-sign 为 加密方式authorization 为账户信息,一般一个账户数据都是一个,ua 不解释发现数据urlhttps://www.xiaohongshu.com/fe_api/burdock/we...原创 2021-06-29 15:28:13 · 4246 阅读 · 4 评论 -
Windows使用AnyProxy抓包(详细)
使用AnyProxy抓包,看了很多教程,多是不完整,或者说的太笼统。下面记录下我探索的过程,也希望能减小各位爱学习的盆友弯路。第一次用简书写文章还不习惯,写的格式不太好。下次改进。如果喜欢,希望多多点赞看完本篇文章你能做到什么:搭建好AnyProxy,并且可以使用AnyProxy实现简单的抓包。步骤:1,安装NodeJs,然后安装AnyProxy2,手机下载CA并且添加信任3,手机设置代理4,抓包...转载 2018-04-13 13:56:22 · 13329 阅读 · 1 评论 -
微信爬取过程中参数分析
一:找到永久的历史信息列表:http://mp.weixin.qq.com/mp/getmasssendmsg?__biz=XXX==#wechat_redirect将XXX==替换为自己的BIZ二:4个参数可以唯一确定一篇微信文章:__biz可以认为是微信公众平台对外公布的公众帐号的唯一idmid是图文消息ididx是发布的第几条消息(1就代表是头条位置消息)sn是一个随机加密串(对于一篇图文消...转载 2018-07-11 16:03:01 · 728 阅读 · 0 评论 -
ChromeDriver is assuming that Chrome has crashed 一直无法打开,总是崩溃
selenium.common.exceptions.WebDriverException: Message: unknown error: Chrome failed to start: exited abnormally (unknown error: DevToolsActivePort file doesn't exist) (The process started from ch...原创 2019-02-19 14:44:34 · 19334 阅读 · 4 评论