关于mitmproxy截数据导致客户端响应被阻塞的问题

最新推荐文章于 2024-12-19 10:54:04 发布
原创 最新推荐文章于 2024-12-19 10:54:04 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ffmpeg #android #nginx #linux #服务器

开发者在使用ffmpeg构建Android播放器时遇到400M视频加载延迟9秒的问题，通过排查ffmpeg和nginx代码未找到原因。后来发现是mitmproxy代理服务器缓存整个http数据包导致的延迟，移除mitmproxy后实现秒播。提醒开发者注意mitmproxy可能带来的性能影响。

近期使用ffmpeg做android播放器, 来播放服务器端的mp4文件, 开发过程中习惯性的打开了mitmproxy来监控http数据包.

经过了几天的各种铺垫架设, 一切事情似乎都很顺利, 测试用的小视频文件在自己的播放器上一切正常. 又开始觉得自己牛逼了, 实现个自己的播放器也没有什么大不了啊. 然而, 悲剧总在天晴后:
无意中播放一个400M的视频文件时, 发现卡在loading界面要等待9秒后才开始播放, 看起来好像是ffmpeg在等待数据或是在分析数据, 黑灯瞎火, 束手无策, 只能再度进入暗黑模式啃代码了.

把ffmpeg的http数据接收部分代码看了个大概, 最后定位到poll一直在等待socket事件. 这就奇怪了, 为何要poll 9秒钟呢? 服务器干什么去了?
又把nginx的发送数据部分代码分析了个大概, 数据发送时该发送的马上就丢出去了啊, 到底是哪里没有搞清楚呢? 百思不得姐, 抓狂!!! 只得老牛反刍继续磨nginx的代码…

搞了3天有余, 想着用wireshark抓一下tcp包看看, 到底网络在磨叽什么东西, 如果实在不行是不是该开涮内核socket处理部分代码了. 结果, 万万想不到的是, 一打开播放器马上就秒播视频文件了. 居然就秒播了啊…
重复了好几次, 反复把mitmproxy给加上又断开, 果断的就是被mitmproxy给卡住了. 尼玛, 花了3天多的时间, 居然就是因为视频数据被代理服务器给截住了. 估计mitmproxy是为了分析协议, 它要把整个http数据包缓存下来后才传给接收端.

因为一直喜欢mitmproxy的分析http包的简单界面, 才舍不得使用wireshark, 没想到简单总被简单误, 出来混总是要还的…
写出来, 希望看到我这个提醒的同志, 不要再在这里栽跟头了.

Python爬虫实战：利用异步技术高效采集拼多多商品数据
2201_76125261的博客
10-03 1414
构建一个高效、健壮的商品数据采集系统。"price": goods_info.get("min_price") or goods_info.get("price") / 100, # 价格有时是分。print(f"[ERROR] 请求搜索页失败，状态码: {e.response.status_code}, URL: {e.request.url}")print(f"[ERROR] 请求商品详情失败，状态码: {e.response.status_code}, GoodsID: {goods_id}")
Mitmproxy精华笔记
浪子燕青的博客
02-23 902
title: Mitmproxy精华笔记 copyright: true top: 0 date: 2019-05-12 22:41:37 tags: categories: 爬虫笔记 permalink: password: keywords: description: Mitmproxy一些常用的方法实践 是啊，世界那么残酷，无论你怎么反抗它，它都沉默无声地运转着，根本不管你会怎么想。你在大使的沙拉里放入了鱼胆，苦得他落荒而逃，可他选中的小羊还是被宰杀了，剥了皮泡在胡椒和香叶汤里；你吓得那些红男绿女落.
详解安装mitmproxy以及遇到的坑和简单用法
09-19
mitmproxy 是一款工具，也可以说是 python 的一个包，在命令行操作的工具。这篇文章主要介绍了详解安装mitmproxy以及遇到的坑和简单用法，感兴趣的小伙伴们可以参考一下
mitmproxy的介绍以及配置过程中的问题
编辑编辑器
08-16 3723
提示：以下是本篇文章正文内容，下面案例可供参考。
mitmproxy抓包 （window + 手机）配置注意问题（博主亲身才坑经历）
zhaojiafu的博客
02-07 8596
文章目录说明：一、抓包电脑：1、安装mitmproxy2、电脑配置证书：①、启动mitmdump②、使用Proxy SwitchyOmega谷歌插件，配置代理： 说明： 最近学习下mitmproxy的使用，前几天还会用，今天突然就不好了，发现原来前几天在我姐家时学习使用的，现在回到杭州，电脑的ip更改了，自然也就不能用了，我先总结抓包电脑和手机的问题，感觉总结的比较全了再发布。先留着学习学习。 m...
mitmdump使用时遇到的一些小问题及解决
分享各种测试中的用到的内容，一起学习
11-21 828
mitmdump使用求助
mitmproxy 的一些优化
qq_39093583的博客
09-06 1002
mitmproxy-ban在mitmproxy基础上进行了优化： 1、限制flows数量，防止flows请求记录太多导致浏览器卡顿 2、web端默认请求记录倒序排列，瀑布式展示请求记录，符合日常使用习惯 3、mitmweb 页脚显示当前ip地址，设置代理更方便 4、增加默认rewrite headers，response 配置文件，方便操作
"""from mitmproxy import http def request(flow:http.HTTPFlow): flow.request.headers["User-Agent"] = "DxShell" with open("../config/request.txt", "w", encoding="utf-8") as file: file.write("URL:"+flow.request.url+"\n") file.write("请求方法"+flow.request.method+"/"+flow.request.scheme+"\n") file.write("请求头:\n") for key, value in flow.request.headers.items(): file.write(f"{key}: {value}\n") file.write("请求数据：\n") file.write(flow.request.text) def response(flow: http.HTTPFlow): flow.response.headers["X-Processed-By"] = "DxShell" with open("../config/response.txt", "w", encoding="utf-8") as file: file.write("响应状态:"+flow.response.reason+"\n") file.write("响应头:\n") for key, value in flow.response.headers.items(): file.write(f"{key}: {value}\n") file.write("响应数据：\n") file.write(flow.response.text)""" import asyncio from mitmproxy import http, ctx from mitmproxy.options import Options from mitmproxy.tools.dump import DumpMaster class HTTPOnlyAddon: def __init__(self): self.blocked_flows = [] # 存储被拦截的请求 def request(self, flow: http.HTTPFlow): # 确保只处理 HTTP/HTTPS（非 TCP、DNS、QUIC 等） if isinstance(flow, http.HTTPFlow): print(f"[HTTP] {flow.request.method} {flow.request.pretty_url}\n") for key, value in flow.request.headers.items(): print(f"{key}: {value}\n") print(f"请求内容:\n{flow.request.text}") flow.intercept() ui = input(">>") print(ui) if ui == "q": exit() elif ui == "r": u = input("[输入修改内容和替换内容]++>") up = u.split(" ") print(up) flow.request.headers[f"{up[1]}"] = f"{up[2]}" flow.kill() exec() def response(self, flow: http.HTTPFlow): if isinstance(flow, http.HTTPFlow): print(f"[HTTP] {flow.response.status_code} {flow.request.pretty_url}") async def start_proxy(): opts = Options( listen_host='127.0.0.1', listen_port=8080, # 关键：关闭非 HTTP 协议的处理（减少日志） mode=["regular"], # 仅常规 HTTP 代理模式 rawtcp=False, # 禁用 TCP 流处理 http2=True, # 允许 HTTP/2（可选） websocket=True, # 允许 WebSocket（可选） ) m = DumpMaster(opts, with_termlog=False, with_dumper=False) # 关闭默认日志 m.addons.add(HTTPOnlyAddon()) await m.run() if __name__ == '__main__': asyncio.run(start_proxy()) 这一段代码没能动态改包的原因
07-12
1. **`flow.intercept()` 和用户输入阻塞问题**：在`request`方法中调用了`flow.intercept()`，这会导致请求被挂起，等待进一步处理。然而，随后的`input`函数会阻塞事件循环，因为mitmproxy是异步的。在异步环境中...
升级无进度反馈？实现带回调机制OTA客户端的5步开发指南与事件捕获策略
# 1. OTA升级为何需要回调机制——从“黑盒”到可视化的关键跃迁 在传统OTA升级中，用户和开发者常面临“黑盒”困境：无法获知升级进度、故障原因及所处阶段。这不仅影响用户体验，更增加了远程诊断与运维成本。...
使用python库读取cookie，数据的获取是异步async，但是登录信息需要等待cookie数据，如何确保同步？先获取到cookie数据，然后才能登录。
最新发布
08-22
核心问题：如何确保在登录操作前同步获取到Cookie数据？ 分析： 1. 用户提到“异步读取浏览器Cookie”，可能是指前端异步请求时Cookie未及时携带，或者后端处理异步请求时读取Cookie的时机问题。 2. 在Web开发...
边缘设备安全加固：ESP32模型防篡改与数据加密的6种高阶手段
[边缘设备安全加固：ESP32模型防篡改与数据加密的6种高阶手段](https://user-images.githubusercontent.com/205573/100710524-f4b54a00-3403-11eb-9220-0216f65bb14a.png) # 1. 边缘设备安全面临的挑战与ESP32的定位...
App爬虫神器mitmproxy和mitmdump的使用
weixin_34220834的博客
06-27 461
mitmproxy是一个支持HTTP和HTTPS的抓包程序，有类似Fiddler、Charles的功能，只不过它是一个控制台的形式操作。 mitmproxy还有两个关联组件。一个是mitmdump，它是mitmproxy的命令行接口，利用它我们可以对接Python脚本，用Python实现监听后的处理。另一个是mitmweb，它是一个Web程序，通过它我们...
mitmproxy请求内容缺失(Request content missing)返回413状态码
weixin_43226381的博客
08-22 1715
只需要将mitmproxy配置中的http2改为false即可 在mitmweb中修改 启动mitmdump时修改 mitmdump.exe --set http2=false
windows下安装中间人mitmproxy，亲测总结
西门大盗 捉虫专家
03-08 7453
第一步安装mitmproxy github地址：https://github.com/mitmproxy/mitmproxy/releases/ 下载后双击安装即可。 安装后在网页上显示 同时电脑上会有个ui界面： 第二步：设置手机代理部分：下载安装证书： 手机连接电脑同一wifi,进入手机WiFi设置里，设置手动代理，输入本机IP和端口号8080。 打开手机浏览器：输...
解析Python中HTTP代理的常见问题
weixin_73725158的博客
02-04 942
为了解决这个问题，你可以尝试关闭SSL证书验证（但在生产环境中这样做可能会带来安全风险），或者更换其他可信赖的代理服务器。有时，虽然代理服务器能够正常工作，但你会发现通过代理发送请求的速度非常慢。一些代理服务器需要用户名和密码才能使用。如果你没有提供正确的认证信息，或者代理服务器的认证方式发生了改变，你就可能无法正常使用代理。此时，你需要检查你的认证信息是否正确，或者联系代理服务器的提供商获取帮助。当你遇到这些问题时，不要慌张，耐心地分析和解决它们，相信你一定能够顺利地使用HTTP代理完成你的编程任务。
APP爬虫mitmproxy代理工具的安装和使用
jingzhunhuoke9的博客
11-14 328
mitmproxy 是python中的一款抓包工具 mitmproxy 安装： 安装mitmproxy,可以使用pip install mitmproxy直接安装，还会附带mitmdump和mitmweb这两个关联组件。mitmdump他是一种命令接，mitmweb是一种web程序 mitmproxy的作用： 拦截，修改，保存HTTP（S）请求 支持HTTP（S）发出请求返回响应 支...
mitmproxy 获取请求响应数据
diaoerxiao0394的博客
04-12 2339
比较好的一个介绍是：https://blog.wolfogre.com/posts/usage-of-mitmproxy/ mitproxy 获取请求响应数据的代码如下： # -*- coding: utf-8 -*- import mitmproxy.http from mitmproxy import ctx import time import xlwt ...
mitmproxy 采坑记录
热门推荐
优快云_Mr_H的博客
08-01 2万+
最近在使用mitmproxy，遇到了一些问题，记录一下，希望帮到有缘人，我的环境是win10专业版 问题1 pip install mitmproxy 后使用mitmdump --version报错 (py3_spider) F:\apps\interpreter>mitmdump --version Traceback (most recent call last): File "f:\apps\interpreter\python3.6.4\lib\runpy.py", line 193,
Python 环境下运用 Requests 与 mitmproxy 的接口弱网测试详解
zhangkexin_z的博客
12-19 859
弱网测试旨在评估应用在网络状况不佳时的性能表现。通过模拟真实的弱网络环境，我们可以发现并解决应用可能存在的性能瓶颈和潜在问题，从而优化用户体验。在实际开发中，我们可能会遇到用户在网络条件较差的情况下使用应用，如地铁、偏远地区或网络拥堵时段。在这些情况下，应用的响应时间、数据加载速度和用户体验可能会受到严重影响。因此，进行接口弱网测试对于确保应用在各种网络环境中稳定运行至关重要。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值