某方protobuf闲谈

最新推荐文章于 2025-12-09 16:47:37 发布
最新推荐文章于 2025-12-09 16:47:37 发布
阅读量199 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Python爬虫 文章标签： python 爬虫 js
本文链接：https://blog.youkuaiyun.com/qq_44902227/article/details/139214510
本文介绍了如何分析protobuf协议，通过抓包发现某网站使用protobuf传输数据。详细讲解了从跟踪栈到解析请求参数的过程，并提供了protobuf工具下载、proto文件编写及Python请求的步骤，最终成功解析请求结果。

  • 问题

    当我们去看某方的时候，搜索了关键词svm，然后通过抓包查看，请求的Request Payload是一串看不懂的乱码，并且返回的数据也大部分是乱码

    观察请求的Content-Type是application/grpc-web+proto，没错数据的传输是protobuf的形式了

    protobuf的相关概念和原理，网上有很多教程，自行百度即可

  • 跟栈分析

    从下图入口进去

    如下图打上断点,刷新可以看见请求参数

    在如下位置打上断点

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Protobuf简单使用及其抓包分析
业精于勤荒于嬉;行成于思，毁于随。
04-20 1090
早之前就用过Google的Protobuf做数据编码，一直没有深入理解其中的原理，最近做了一次通讯抓包，发现其中很多Protobuf编码的数据包，于是决定分析一下其中的数据包及其编码。 一、Protobuf的使用 首先来简单介绍一下Protobuf的使用，这里以windows下java开发为例，几个步骤：编写*.proto ->使用google提供的protoc.exe生成*.java
protobuf抓包,读包
随便写写
04-19 1028
数据大概是下面这样的(浏览器开发者工具 自动通过utf-8转换为了字符串, 使某些数据可读了一些, 原本应该是一个二进制数据)protobuf就是类似一个json的数据传输协议, 相比json更快, 体积更小;额外添加一个base64, 因为转换后的二进制数据并不方便存储转移。主要就是 跟栈 找到封包之前的对象, 大概一直跟到这里。对象上的(油猴脚本中的JS可以在DOM加载之前执行)解包类似, 找到decode方法, 添加日志点。封包后的二进制几乎不可读, 如何调试呢。协议的http请求, 而。
Java数据类型
weixin_45025511的博客
09-20 223
Java数据类型 整理一下,方便以后复习 类型 存储大小 取值范围 封装类 boolean 1字节 true, false Boolean byte 1字节 -128 ~ 127 Byte short 2字节 -32768 ~ 32767 Short int 4字节 -2147483648（-2^31）~ 2147483647（2^31-1） Integer long 8字节 -2^63~ (2^63-1) Long float 4字节 -3.4028235E+38 ~
爬虫逆向学习(十六)：某方数据protobuf协议逆向解析
九月镇灵将的博客
02-11 2959
实战某方数据protobuf协议逆向解析
【Protobuf】Springboot集成protobuf
No8g攻城狮的博客
04-28 4191
定义两个proto文件，一个用于接收接口请求数据 Student.proto，一个用于响应 Response.proto。Tips：对于新手来说，定义的这个 .proto 文件还不知道放在哪个目录下。注意：此文件是放在静态资源 resources 目录下。// 指定 Protobuf 版本为版本 3（最新版本）// 指定protobuf包名，防止类名重复// 生成的文件存放在哪个包下，对于新手来说，不指定生成到哪个目录下即可，不建议指定包（否则，可能让你怀疑人生）
一文读懂——Protobuf
热门推荐
xiaohu的博客
06-14 4万+
protobuf
【Protobuf】protobuf详细介绍
No8g攻城狮的博客
04-28 1866
在以往的项目中进行网络通信和数据交换的应用场景中，最经常使用的技术便是json或xml。随着JSON的灵活优势，越来越多的企业选择JSON作为数据交换的格式，目前JSON已经成为了业界的主流。JSON已经足够好用，且能满足相当大部分的场景。但是今天在介绍一个Google的力作protobuf作为数据交换格式。我们来看看。Protobuf（Protocol Buffers）是由 Google 开发的一种轻量级、高效的数据交换格式，它被用于结构化数据的序列化、反序列化和传输。
protobufprotobufprotobufprotobuf
03-26
protobuf，全称Protocol Buffers，是Google开发的一种数据序列化协议。它允许开发者定义数据结构，然后将结构化的数据序列化，可用于数据存储、通信协议等方面。Protocol Buffers的设计目标是提供一种更高效、更灵活...
精选资源
Protobuf-v25.6-third-party
03-12
第三方库指的是由Protobuf社区或其他组织提供并支持的一系列代码库，这些库可能包括额外的数据类型、支持库、集成插件或其他对Protobuf基础功能进行扩展的组件。这些库允许开发者在Protobuf的框架上进行更多自定义化...
精选资源
protobuf C++库
05-09
**protobuf C++库详解** Protocol Buffers（简称protobuf）是由Google开发的一种高效、灵活的数据序列化框架，类似于XML和JSON，但比它们更小、更快、更简单。它允许开发者定义数据结构，然后生成能够在各种语言...
protobuf-3.0源码
07-09
protobuf-3.0是Google开发的一套数据序列化协议，主要用于网络通信和数据存储。作为一种高效的数据序列化和反序列化工具，protobuf广泛应用于各种编程语言中，尤其是在大型分布式系统中，它可以有效地减少网络传输的...
protobuf-3.11.2.zip
04-24
Protobuf（Protocol Buffers）协议Protobuf 是一种由 Google 开发的二进制序列化格式和相关的技术，它用于高效地序列化和反序列化结构化数据，通常用于网络通信、数据存储等场景。 Protobuf 在许多领域都得到了广泛...
抓包+逆向app分析protobuf
风中的承诺
06-20 5405
首先明确我们的目标。我们的最终目标是还原proto文件。并用python成功解析数据。 1.抓包分析 拿到一款app，首先抓包 如果协议头是application/x-protobuf，那么charles可以大致解析出来响应的文本。可以看到甚至连序号以及类型。注意这个前面的1，2，3不是charles自动给我们标的序号，而是message里面，定义的字段编号。我换了编号，请求响应如下: 基本上我们根据抓包结果就可以编写proto配置文件了。 但是现在大多数app，一般用了protobuf协议，基本上都是
深度学习下载包时可能会遇到的问题及解决方案
最新发布
m0_50481455的博客
12-09 195
若确实下载安装了CUDA ，但是此时输出的CUDA是否可用为否，应该是torch的版本为cpu版本导致，刚刚的下载包的语句如果总是下载的是cpu版本，我们考虑直接去网站下指定包，再进行安装。CUDA Version表示的是驱动支持的最高 CUDA 版本，去官网下载 CUDA ，我这里是12.2，表示下载的版本最大只能是12.2。然后下载包时，比如本地环境是Python3.9，找包下载时候，3.9要下对应cp39的包。下载好后，执行语句安装。
50、【Ubuntu】【Gitlab】拉出内网 Web 服务：http.server 单/多线程分析（二）
HIT_Weston的博客
12-04 1404
本文分析了Python的http.server模块在单线程和多线程模式下的性能表现。通过测试发现，单线程模式下（Python<3.7）并发请求会被阻塞，后发请求需要等待前一个请求完成；而多线程模式下（Python≥3.7）可以同时处理多个请求。作者通过slow_server.py脚本模拟耗时操作，使用time curl命令测试响应时间，验证了线程模型的差异。文章还指出Python 3.7是一个重要分水岭，官方将默认命令行服务器升级为多线程以提升用户体验。技术细节参考了CPython源码，并提供了Git
推荐 | JoyAgent-JDGenie：开箱即用的端到端多智能体产品
lpfasd123的博客
12-05 354
如果你在寻找一款真正可落地的多智能体产品，用来“搜索-分析-生成报告”、“数据问答与诊断”、“代码解释与图表生成”，同时希望易部署、易扩展、易二次开发——JoyAgent-JDGenie 是非常值得试用与推荐的选择。只需填好少量配置，即可获得端到端的流式体验与交付能力。
零基础学JAVA--Day41(IO文件流+IO流原理+InputStream+OutputStream)
Dxxyyyy的博客
12-05 961
文件在程序中是以流的形式来操作的流：数据在数据源（文件）和程序（内存）之间经历的路径输入流：数据从数据源（文件）到程序（内存）的路径输出流：数据从程序（内存）到数据源（文件）的路径。
某音protobuf解析
08-04
解析抖音应用中使用的 Protocol Buffers（简称 protobuf）数据格式，通常涉及以下几个关键步骤： 1. **获取 protobuf 数据** 抖音的网络请求中，部分数据（如直播间弹幕、用户信息、评论等）可能以 protobuf 格式传输。可以通过抓包工具（如 Charles、Fiddler 或 mitmproxy）捕获抖音客户端的 HTTPS 请求，并提取响应体中的二进制数据。 2. **获取对应的 `.proto` 文件** 为了正确解析 protobuf 数据，必须拥有与数据结构匹配的 `.proto` 文件。抖音的 `.proto` 文件通常不会公开，因此需要通过逆向工程从 APK 中提取或参考社区分享的结构定义。例如，参考已有结构定义： ```protobuf message RoomUserSeqMessage { Common common = 1; repeated Contributor ranks = 2; int64 total = 3; string popStr = 4; repeated Contributor seats = 5; int64 popularity = 6; int64 totalUser = 7; string totalUserStr = 8; string totalStr = 9; string onlineUserForAnchor = 10; string totalPvForAnchor = 11; message Contributor { int64 score = 1; User user = 2; int64 rank = 3; int64 delta = 4; bool isHidden = 5; string scoreDescription = 6; string exactlyScore = 7; } } ``` 通过该定义可构建对应的解析器以解析抓包获取的二进制数据[^2]。 3. **使用 protobuf 编译器生成解析代码** 利用 `protoc` 工具将 `.proto` 文件编译为 Python、Java、C++ 等语言的类，用于解析实际数据。例如，使用 `protoc` 生成 Python 类： ```bash protoc --python_out=. room_user_seq_message.proto ``` 生成的代码可用于加载和解析数据。 4. **编写解析脚本** 使用生成的类对抓取到的二进制数据进行解析。以下是一个 Python 示例： ```python from room_user_seq_message_pb2 import RoomUserSeqMessage import sys def parse_protobuf_data(data): message = RoomUserSeqMessage() message.ParseFromString(data) return message if __name__ == "__main__": binary_data = sys.stdin.buffer.read() parsed_data = parse_protobuf_data(binary_data) print(parsed_data) ``` 5. **调试与适配** 抖音的 protobuf 数据可能会随着版本更新而变化，因此需要持续跟踪更新，并调整 `.proto` 文件结构以适配新版本。此外，部分字段可能被加密或压缩，需进一步解密处理。 6. **注意事项** 在解析过程中，应遵守相关法律法规，避免未经授权的大规模数据抓取行为。如涉及企业或商业用途，建议通过官方 API 获取数据。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

qq_44902227

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值