记忆碎片之python爬虫APP数据爬取之mitmproxy分别代理监听本地浏览器和夜神模拟器(二)

mitmproxy 代理工具介绍:rewrite和map local实现 在接口测试中,会用到抓包工具或者代理工具,常用代理工具包括charles、 burpsuite、 fiddler、mitmproxy等,ssh -D参数 可实现socks5代理。网络嗅探工具可以使用tcpdump 和 wireshark。 Charles工具可以实现mock测试(参考**《接口测试代理工具charles mock测试》**),如果要自动化实现这些功能,mitmproxy工具是个不错的选择。 本文主要内容包括简要介绍mitmproxy代理工具、mitmproxy安装、SSL 证书安装以及实现和 阅读详情

虽然说在虚拟机的终端也可以使用mitmproxy,但是操作起来却没有那么舒服,基本都是键盘上下左右和TAB等等,如果能使用鼠标那不香吗?
刚在vm virtualbox装好的ubuntu18.04.4 LTS,这个时候,虚拟机可以访问宿主机网络,但是外部网络却没有办法访问虚拟机,是不是很尴尬,此时,就算启动了mitmproxy,但是由于网络互通访问的问题,它根本无法成为代理,也就无法监听数据流,解决办法如下:
第一步:配置虚拟机的网络
在这里插入图片描述
在这里插入图片描述
然后重新启动Ubuntu系统,在系统终端配置一下文件:

cd /etc/network
sudo vim interfaces

如果提示没有vim,那就先安装vim

sudo apt-get update
sudo apt-get install vim

然后再执行文件编辑,在文件中输入

auto eth0

iface eth0 inet dhcp

auto eth1

iface eth1 inet dhcp

保存文件并退出编辑
第二步:安装ssh服务:

sudo apt-get install openssh-client
sudo apt-get install openssh-server

启动ssh服务并查看服务是否启动成功

sudo service ssh start
ps -e | gerp ssh

第三步:查看虚拟机的IP地址:

ifconfig

如果提示没有该命令,则安装net-tools

sudo apt-get install net-tools

第四步:因为自带版本是python3.6.9,我想用3.7.7的,于是

 22  pip list
   23  sudo apt update
   24  sudo apt list --upgradable
   25  clear
   26  sudo apt install software-properties-common
   27  sudo add-apt-repository ppa:deadsnakes/ppa
   28  sudo apt install python3.7
   29  python3.7 --version
   30  python
   31  python3
   32  sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.6.9
   33  python3
   34  sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.7 7
   35  python3
   36  python3 -V
   37  sudo update-alternatives --install /usr/bin/python python /usr/bin/python3.7 7
   38  python -V
   39  sudo apt-get install python3-pip
   40  pip -V
   41  pip --version
   42  pip3 --version
   43  pip3 list
   44  pip3 install mitmproxy
   45  pip install -i https://pypi.tuna.tsinghua.edu.cn/simple mitmproxy
   46  pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple mitmproxy
   47  mitmproxy --version
   48  sudo apt-get remove --purge python-apt
   49  sudo apt-get install -f -y python-apt
   50  cd /usr/lib/python3/dist-packages/
   51  sudo cp apt_pkg.cpython-36m-x86_64-linux-gnu.so apt_pkg.cpython-37m-x86_64-linux-gnu.so
   52  cd 
   53  pip list
   54  mitmproxy --version
   55  sudo apt install python-pip
   56  pip3 install mitmproxy
   57  pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple mitmproxy
   58  pip3 list
   59  python
   60  mitmproxy --version
   61  sudo pip3 install mitmproxy --ignore-installed	# 太慢了,ctrl+C停了用下面的
   62  sudo pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple mitmproxy --ignore-installed
   63  mitmproxy --version
   64  mitmproxy
   65  history

虽然趟雷无数,但最后还是能用了,哈哈!
第五步:在xshell中链接虚拟机
在这里插入图片描述
在Xshell中启动mitmproxy -p 8889指定端口,先来监听宿主机的浏览器:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
可以看到在Xshell中的运行情况,并且用鼠标可以点击任意一个数据流和详情标签,是不是方便了许多
接着来监听夜神模拟器,看看结果如何,先修改代理
在这里插入图片描述
然后打开模拟器里面的浏览器,它会跳到自带的一个页面,如下:
在这里插入图片描述
因为我们还没有安装证书,在一阵点击继续按钮操作之后
在这里插入图片描述
安装证书:在浏览器地址栏输入mitm.it
在这里插入图片描述
选择Android版本的下载,然后点击下载好的证书,开始安装
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
完成配置

Python之使用mitmproxy进行本地化网络监听 【代码】Python之使用mitmproxy进行本地化网络监听。 阅读详情

相关推荐

mitmproxy抓取夜神模拟器数据

1. 安装mitmproxy pip install mitmproxy 2.使用mitmproxy 然后启动就可以了 mitmdump -p 8080 如果想要有可视界面的就启动mitmweb mitmweb 然后会自动跳出控制台页面 然后将夜神的网络设置代理模式,将IP改为本机IP,端口位8080, 然后再夜神模拟器设置中启用网络桥接 重启模拟器之后就可以获取到数据了。但是还需要安装证书才可以。 手机上登录mitm.it下载后安装即可 名字随便取 如果是安卓7以上的模拟器就会一直提示不

@凌晨三点半的博客 1073

mitmproxy--配置mitmproxy安装以及模拟器证书

文章目录一、引入二、安装三、模拟器证书配置1.创建一个模拟器2.配置证书四、总结 一、引入 mitmproxy官网:https://www.mitmproxy.org/ 中文文档:https://ptorch.com/docs/10/mitmproxy_introduction mitmproxy是一组工具,可为HTTP/1,HTTP/2和WebSockets提供交互式的,具有SSL/TLS功能的拦截代理。 二、安装 pip install mitmproxy 三、模拟器证书配置 1.创建一个模拟

懷淰メ的博客 3776

OpenWRT二级路由DHCP客户端配置:实现IPv4 WAN自动获取与网段隔离

本文详细讲解了如何将OpenWRT配置为二级路由器,重点在于设置其WAN口为DHCP客户端以自动获取IPv4地址,并修改LAN口网段实现与上级网络的隔离。文章提供了从网络拓扑规划、具体配置步骤到防火墙设置的完整指南,并分享了常见问题排查与避坑经验,帮助用户构建稳定且功能独立的家庭网络环境。

weixin_29268267的博客 293

用Proxifier只代理PC端部分软件

mitmproxy监测,proxifier代理部分软件 proxifier下载 1、添加代理信息 (1)打开cmd窗口使用ipconfig命令:查询ipv4地址 (2)打开Proxifier>配置文件>代理服务器:添加ipv4地址、端口、类型 2、配置规则 (1)选择需要代理的软件,如微信,右击查看属性,找到软件可执行文件名称如WeChat.exe: (2)打开Prox...

十一姐的博客 1万+

CMap数据库实战:从基因表达谱到药物重定位的可视化分析

本文详细介绍了如何利用CMap数据库进行药物重定位的可视化分析。通过实战演示,从差异基因列表准备、CMap查询参数设置,到结果筛选与高级可视化(如热图与OncoPrint风格图),系统讲解了从数据到洞察的全流程,并提供了关键的解读与验证指南,帮助研究者高效挖掘老药新用的潜力。

mango的博客 587

如何导入su_利用GIS快速生成SU场地模型

01|前言:进入2021年了,希望大家也是一个新的开始。告诫自己多写文章多更新,多读点书多旅行。然而元旦由于出去玩了4天,积累了一些事情要处理,一直没有时间好好写点东西。今天给大家带来的分享主题叫“利用GIS快速生成SU场地模型”。相关的视频方法其实B站上也有,但我相信视频很多人都不会看,我自己也是。直接给大家上操作流程。主要的操作步骤是【获取场地的矢量shp文件】—【导入ArcScen...

weixin_33806859的博客 9812

转载:mitmproxy 5种代理模式

5种代理模式 mitmproxy操作模式有5种: 正向代理( Regular Proxy)(常规模式) 透明代理(Transparent Proxy) 反向代理(Reverse Proxy) 上游代理(Upstream Proxy) socks代理(SOCKS Proxy) 如何选择使用? 一般在服务端会使用反向代理 当你不需要将客户端配置为显式使用HTTP代理。可以使用透明代理 当你不许需要使用mitmproxy作为第二层代理,使用常规代理 需要使用mitproxy作为第二层代理,使用上游代理(Ups

loctech的博客 8493

基于GIS的生态安全网络格局构建(附练习数据下载)

基于GIS的生态安全网络格局构建(附练习数据下载)

qq_43173805的博客 3121

python结合mitmproxy做拦截代理

一、mitmproxy介绍 mitmproxy 就是用于 MITM 的 proxy,MITM 即中间人攻击(Man-in-the-middle attack)。用于中间人攻击的代理首先会向正常的代理一样转发请求,保障服务端与客户端的通信,其次,会适时的查、记录其截获的数据,或篡改数据,引发服务端或客户端特定的行为。 mitmproxy可以拦截http和https请求,如果需要拦截https请求需要安装证书 二、mitmproxy安装(windows下) 1. 运行下面命令进行安装 pip install m

weixin_45552310的博客 5008

硅谷刷屏的ClawdBot,让Mac mini卖爆了!创始人爆料:一人开发、100% AI 写代码

这两天,个人 AI 助手 ClawdBot 席卷硅谷,国内外社交平台上全是关于它的讨论。 在试用后,网友们纷纷给出了很高的评价。“它是迄今为止最伟大的 AI 应用,相当于你 24 小时全天候专属 AI 员工。”Creator Buddy 创始人兼 CEO Alex Finn 盛赞道,“这就是他们 (Anthropic) 希望 Claude Cowork 呈现的样子。”

技术引领业务创新 1582

零基础搭建机械零件检测系统:基于YOLOv8的PySide6可视化开发全攻略

本文详细介绍了如何从零开始搭建基于YOLOv8的机械零件检测系统,涵盖环境配置、数据集准备、模型训练优化及PySide6可视化界面开发全流程。通过实战案例展示YOLOv8在工业检测中的高效应用,帮助开发者快速实现自动化零件检测解决方案。

weixin_28455801的博客 308

接口自动化&抓包&代理神器-Mitmproxy代理配置详细教程

你可以根据具体的需求选择其他字符编码方式,例如 “utf-16”、“latin-1” 等。现在,你的 iOS 设备将经过 mitmproxy,并且可以在 mitmproxy 上拦截和修改所有的网络请求和响应。5、在 “服务器”(Server)字段中输入 mitmproxy 运行计算机的 IP 地址,并在 “端口”(Port)字段中输入 mitmproxy 的监听端口,默认为 8080。8、前往设置 证书的信任设置: 设置 -> 通用-> VPN与设备管理 -> mitmproxy,点击进行安装。

qq_46158060的博客 3840

2025华为od机试真题B卷【字符串计数匹配】Java&Go 实现

给你一个字符串str和整数k,返回满足以下条件的所有子字符串个数: 1.恰好包含k个字母。 2.数字0-9各出现至少一次。

MISAYAONE的博客 636

记忆碎片之python爬虫APP数据爬取(一)

# app数据 # 简单 # 比web端更容易,反爬虫不太强,大部分是http/https协议,大多返回json # 困难 # 01 可能需要适当的反编译,分析出加密算法并抓取到信息 # 02 可能加固,需要脱壳,然后反编译,分析出加密算法并抓取到信息 # 03 需要破解通过各式各样的签名,整数,设备绑定等方法,找到隐藏加密算法 # 技术要求 # python爬虫开发经验 app逆向 java开...

Python_DJ的博客 1670

windows下玩转vllm:在wsl下安装vllm

当前,部署通义千问2.5-vl已经是一件箭在弦上,不得不发的事儿了。网上搜了一下,发现还是用vllm用的比较多。于是乎,这就开始尝试部署vllm。但是我们之前说了,vllm是不支持直接在windows上部署的,我们还得搞wsl或者docker。咱今天先尝试使用wsl进行安装哈。

xiezhipu的博客 4136

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Python配置MITMPROXY中间人监听配置

网络流量分析

zhenyu_zhang的博客 464

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

python+playwright自动化测试(六):设置代理及网络监听和数据拦截修改

上面代码中使用了from functools import partial,解决事件监控时的函数传参问题,监控函数第一个传参为事件本身,如on_close中的event实际代表close。当然后面的网络拦截中也适用。修改响应数据通过使用 APIRequestContext 获取原始响应,然后将响应传递给 route.fulfill()。这种方式可以在不修改代码的情况下改变代理设置。中止请求使用route.abort()要在固定的上下文中使用代理,可以使用。

北冥有鱼的博客 1374

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

python监听网络请求_python 模拟http请求服务端,完成对异步回调接口的监听

1.背景项目上暴露的翻译接口支持异步调用,调用参数中可以根据填写的回调地址完成请求实际响应数据的发送。异步翻译调用接口简单易懂。但是测试接口实际功能时,就需要模拟一个http客户端用来接收异步返回的响应数据,用以验证接口功能的完整性。2.异步请求接口异步请求接口,功能表现为发送请求后会先返回一个请求状态的响应数据,一般表示服务端已经接受请求,请求成功。请求参数中会带有回调地址,待请求服务端完成请求...

weixin_36212334的博客 3054

Python+Appium同时控制多个Android模拟器

Python+Appium同时控制多个Android模拟器 环境 windows 10 Appium-windows-1.18.0-2 nox_setup_v7.0.0.5_full android-sdk_r24.4.1-windows 夜神模拟器 adb连接夜神模拟器 adb # 查看是否安装adb adb devices # 查看设备信息 adb connect 127.0.0.1:62001 # 夜神模拟器第一个模拟器端口是62001,第二个模拟器端口号是62025,第三个是62025

weixin_41924879的博客 4437

mitmweb + 模拟器抓包

用惯了fiddler配置手机抓包,发现有些特定的包不容易抓到(app启用了SSL Pinning,又叫“ssl证书绑定“),因此另辟蹊径,采用模拟器登陆,开启mitmweb抓包之旅。 一、安装模拟器(雷电模拟器) 下载网址:http://www.ldmnq.com/ 二、下载Xposed的apk安装包 下载网址:http://repo.xposed.info/module/de.robv....

wenq_yang的博客 9580

【APP爬虫】mitmproxy抓包工具和夜神模拟器爬虫

mitmproxy抓包工具和夜神模拟器爬取得到APP的数据 一、相关软件的安装 工欲善其事,必先利其器,要实现我们的需求,当然是先准备我们所需的工具,本次主要主要用的工具有: python(这个在此处不提,自行百度进行安装,注意环境变量的配置) pycharm(代码编辑器,博主采用的pycharm专业破解版,安装步骤参考博客:pycharm破解2019) Visual Studio Code(这...

weixin_42964610的博客 4709

Python:使用 MitmProxy 自动抓取微信公众号阅读数、点赞和再看数据

前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 作者:某某白米饭 PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python学习交流群,点击即可加入本群 某天接到一个需要抓取某某微信公众的所有历史文章的阅读数、点赞和再看数据的需求。 为了解放双手,就用 Python 代码撸一个,选择 MitmProxy 代理作为抓包工具,因为它可以使用 Python 代码监听抓取到的 url,用于自动获取 cookie 等

人生苦短, 还不用Python? 4761

mitmproxy关于httpflow的api说明

mitmproxy关于httpflow的api说明(二)

技术狂人 2189

mitmproxy使用

1. 安装 pip install mitmproxy 2. 启动 以windows为例, cmd中执行mitmdump 默认端口为8080 -s 可指定脚本 3. 浏览器设置 IE, chrome较为简单。 以下为Firefox设置步骤。 代理设置: 选项---网络设置---手动代理配置, 然后勾选“为所有协议使用相同的代理”。...

Thinkcortex的博客 1549

最好用的中间人攻击工具mitmproxy

题图:Photo by Max Busse on Unsplash它是一款基于Python开发的开源工具,最重要的是它提供了Python API,你完全可以通过Pytho...

Python之禅的专栏 1004

mitmproxy 抓包工具介绍

   

u014796999的博客 737
上一篇: 记忆碎片之python爬虫APP数据爬取(一)
下一篇: 记忆碎片之python爬虫APP数据爬取fiddler和mitmproxy的简单使用(三)
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值