1. 引言:当Protobuf没有.proto文件时,我们该怎么办?
如果你做过网络爬虫或者接口逆向,大概率遇到过一种让人头疼的数据格式:application/x-protobuf。服务器返回一堆你看不懂的二进制乱码,或者请求体里塞满了非人类可读的字节。你知道这是Google的Protocol Buffers(Protobuf),但问题来了——你手上没有对应的 .proto 定义文件。没有这个“说明书”,你连数据里哪个字段是用户名、哪个是密码都分不清,更别说构造一个合法的请求了。
传统的做法是,要么逆向整个应用找到proto文件,要么根据文档手写定义,过程繁琐又容易出错。几年前我处理一个移动端App的协议时,就卡在这个环节好几天。直到我发现了 blackboxprotobuf 这个神器。它的核心思想特别“极客”:把Protobuf协议当作一个黑盒。我们不需要知道它内部具体怎么定义的,只需要把原始二进制数据喂给它,它就能帮我们反推出大致的结构,并且还能让我们用这个推测出的结构,重新编码出合法的数据。
简单来说,它的工作流程就像这样:你抓到一串 application/x-protobuf 格式的二进制数据(可能是Hex或Base64格式)→ 用 blackboxprotobuf.decode_message 解析 → 得到两部分结果:一是解析出的数据内容(通常是字典形式),二是它猜测出来的消息类型定义。然后,你可以修改数据内容,再用 blackboxprotobuf.encode_message 和猜测出的类型定义,重新编码回合法的Protobuf二进制数据,用于发送请求。整个过程,完全不需要原始的 .proto 文件。
这篇文章,我就以一个老逆向工程师的身份,带你手把手走一遍这个“黑盒解析”的完整流程。我会把网上教程里没讲清楚的“坑”、我实际踩过的雷,以及能提升效率的操作技巧,毫无保留地分享给你。目标很简单:让你在10分钟内,掌握这套应对未知Protobuf协议的应急处理方法。
2. 环境与工具准备:打造你的分析工作台
工欲善其事,必先利其器。我们先来把环境和工具配置好,这个过程很简单,但一步都不能错。
2.1 安装核心库:blackboxprotobuf
blackboxprotobuf 是一个Python库,安装它只需要一条命令。我强烈建议你使用 pip 进行安装,并且最好在一个干净的虚拟环境里操作,避免包版本冲突。
打开你的终端(Windows用CMD或PowerShell,Mac/Linux用Terminal),输入以下命令:
pip install blackboxprotobuf
如果安装速度慢,可以加上清华的镜像源:
pip install blackboxprotobuf -i https://pypi.tuna.tsinghua.edu.cn/simple
安装完成后,你可以在Python环境中导入它来验证是否成功:
import blackboxprotobuf
print(blackboxprotobuf.__version__) # 如果能打印出版本号,说明安装成功
2.2 抓包工具的选择与配置
要分析数据,首先得把数据“抓”到手。你需要一个能拦截并查看HTTP/HTTPS请求和响应的工具。
- Charles 或 Fiddler:这是最经典的两款抓包工具,图形化界面友好,功能强大。它们能直接显示请求和响应的原始十六进制(Hex)数据,这对我们后续操作至关重要。Charles是收费的但有试用期,Fiddler Classic在Windows上免费。我个人更习惯用Charles,它的界面和过滤功能更直观一些。
- 配置要点:无论你用哪个,务必安装并信任其根证书,这样才能解密HTTPS流量。在Charles中,你可以在
Help -> SSL Proxying -> Install Charles Root Certificate完成这个操作。同时,记得在你需要抓包的设备(手机或电脑)上设置好代理。
2.3 文本编辑器的列操作技巧(VS Code为例)
这是很多教程里一笔带过,但实际操作中极其关键的一步。从抓包工具复制出来的数据往往是多行的十六进制字符串,我们需要精准地只提取Hex部分,去掉行号、ASCII预览等干扰信息。列选择模式是你的救星。
我以VS Code为例(其他如Sublime Text、Notepad++也支持类似功能):
- 从Charles的
Raw或Hex视图里,复制下整个Protobuf数据的十六进制展示区域。 - 在VS Code中新建一个文件并粘贴。数据通常长这样,左边是行号,中间是Hex,右边是ASCII:
00000000 0a 24 38 66 64 61 66 64 31 32 33 34 35 40 67 6d |.$8fdafd12345@gm| 00000010 61 69 6c 2e 63 6f 6d 12 0b 73 64 66 66 68 32 33 |ail.com..sdffh23| - 将光标定位到Hex部分的起始处(例如上面例子中
0a的前面)。 - 按住
Shift + Alt(在Mac上是Shift + Option)的同时,用鼠标向下拖动。你会发现光标变成了一列一列的,而不是一行一行的。这样就可以垂直选中所有行的Hex数据部分,完美避开行号和ASCII列。 - 复制选中的Hex文本,它现在应该是类似
0a 24 38 66 64 61 66 64 31 32 33 34 35 40 67 6d 61 69 6c 2e 63 6f 6d 12 0b 73 64 66 66 68 32 33这样连续的空格分隔的字符串。
这个技巧能节省大量手动删除无关字符的时间,务必掌握。
3. 实战第一步:从抓包数据到可解析的格式
现在,我们手里有一串从抓包工具里用列操作提取出来的、以空格分隔的Hex字符串。但 blackboxprotobuf 的 decode_message 函数需要的是原始的二进制字节(bytes),或者Base64编码的字符串。所以我们需要进行转换。
3.1 Hex字符串的转换:瑞士军刀般的CyberChef
手动写Python代码去除空格并把"0a 24"转换成\x0a\x24太麻烦了。这里我推荐一个神器级的在线工具:CyberChef(由GCHQ出品,堪称网络工程师和逆向工程师的“瑞士军刀”)。
访问 https://gchq.github.io/CyberChef/,它的操作非常直观:
- 在左侧的
Operations面板搜索并拖拽From Hex到中间的配方区。 - 确保
Delimiter设置为Space(因为我们复制的Hex是用空格分隔的)。 - 将你复制好的、带空格的Hex字符串(如
0a 24 38 66...)粘贴到顶部的Input输入框。 - 你会在底部的
Output输出框立刻看到转换结果。通常是一堆乱码,因为这是二进制数据的文本表示。 - 关键一步:在
Output框上方,点击Save output to file旁边的下拉菜单,选择Export as Base64。或者,你可以在配方里再拖拽一个To Base64操作。这样,你就得到了一个干净的Base64字符串。
为什么转成Base64?因为它是一种纯文本的二进制表示法,方便我们复制到Python代码里作为字符串处理,比在代码里写一长串 \x 转义字符要清爽和安全得多。
3.2 编写你的第一个解析脚本
拿到Base64字符串后,我们就可以开始用Python进行解析了。新建一个Python文件,比如叫做 decode_pb.py。
import blackboxprotobuf
import base64
# 这是从CyberChef得到的Base64字符串,替换成你自己的
base64_str = '你的Base64字符串'
# 1. 将Base64解码为二进制字节
proto_bytes = base64.b64decode(base64_str)
# 2. 使用blackboxprotobuf进行黑盒解码
decoded_data, message_type = blackboxprotobuf.decode_message(proto_bytes)
# 3. 打印结果
print("解析出的数据:")
print(decoded_data)
print("\n推测的消息类型:")
print(message_type)
运行这个脚本,你将会看到类似这样的输出:
解析出的数据:
{'1': b'user@example.com', '2': b'yourpassword123', '3': 86, '4': b'en-US'}
推测的消息类型:
{'1': {'type': 'bytes', 'name': ''}, '2': {'type': 'bytes', 'name': ''}, '3': {'type': 'int', 'name': ''}, '4': {'type': 'bytes', 'name': ''}}
解读一下输出:
decoded_data:这是一个字典,键是字段编号(如'1','2'),值是对应的数据。b‘...’表示字节类型,数字就是整型。这基本上就是Protobuf消息的内容了。message_type:这是库根据二进制数据反推出来的“类型定义”。它也是一个字典,描述了每个字段编号对应的数据类型(‘bytes’,‘int’,‘float’,‘message’等)。‘name’字段是空的,因为黑盒解析不知道原始字段名,这里我们可以后期自己根据语义补上。
恭喜你,你已经成功在不依赖proto文件的情况下,解析出了一个Protobuf消息!
4. 深入解析与类型定义优化
第一次解析成功只是开始。blackboxprotobuf 推测的类型有时可能不够精确(比如把uint32和int32都显示为‘int’),或者嵌套消息的结构需要进一步确认。我们需要更深入地与这个“黑盒”交互。
4.1 理解与完善消息类型定义
上面输出的 message_type 是一个模板。为了让后续的编码操作更准确,也为了方便我们自己理解,我们应该完善它。主要做两件事:
- 为字段添加有意义的名称:虽然
name字段不影响编码,但能极大提升代码可读性。根据decoded_data里每个字段的值,猜测其含义。 - 细化数据类型:
blackboxprotobuf支持更具体的类型。例如,对于整数,可以指定为‘int’、‘uint’、‘sint’等。对于字节,如果知道是字符串,可以保持为‘bytes’,或者如果你确定是文本,可以在后续处理时解码。
根据之前的示例输出,我们可以优化 message_type:
improved_message_type = {
'1': {'type': 'bytes', 'name': 'email'}, # 看起来像邮箱
'2': {'type': 'bytes', 'name': 'password'}, # 可能是密码
'3': {'type': 'int', 'name': 'country_code'}, # 国家代码,整数
'4': {'type': 'bytes', 'name': 'language'}, # 语言代码
}
4.2 处理复杂类型与嵌套消息
Protobuf消息可以嵌套其他消息。blackboxprotobuf 也能处理这种情况,在 message_type 中,如果一个字段的类型是另一个消息,它的 ‘type’ 会被标记为 ‘message’,并且会包含一个 ‘message_typedef’ 子字典来描述这个嵌套消息的结构。
假设我们解析出一个更复杂的数据,输出可能像这样:
{'1': {'1': b‘Alice’, ‘2’: 25}, ‘2’: 100}
{'1': {'type': 'message', 'message_typedef': {'1': {'type': 'bytes', 'name': 'name'}, '2': {'type': 'int', 'name': 'age'}}, 'name': 'user_info'}, '2': {'type': 'int', 'name': 'score'}}
这表示字段1是一个嵌套消息,里面包含了name和age两个子字段。在构造数据时,你需要按照这个嵌套结构来组织你的字典。
4.3 验证与重新编码:完成闭环
黑盒解析的最终目的,不仅是读懂数据,更是要能伪造或修改数据并重新发送。encode_message 函数就是干这个的。
我们用优化后的 improved_message_type 和修改过的数据,来生成一个新的Protobuf二进制串:
# 准备要编码的数据,字段编号和类型必须与 message_type 匹配
new_data = {
'1': b‘new_user@domain.com’, # 注意:字节类型,所以前面加b
'2': b‘newpass456’,
'3': 1, # 整数类型直接写数字
'4': b‘zh-CN’,
}
# 使用优化后的类型定义进行编码
encoded_bytes = blackboxprotobuf.encode_message(new_data, improved_message_type)
print("编码后的二进制字节:")
print(encoded_bytes) # 输出如 b‘\n\x10new_user@domain.com\x12\nnewpass456\x18\x01"\x05zh-CN’
# 如果你想以Base64形式输出,方便放入请求体
encoded_b64 = base64.b64encode(encoded_bytes).decode(‘utf-8’)
print("\n编码后的Base64:")
print(encoded_b64)
现在,你可以把这个 encoded_b64 字符串,作为 application/x-protobuf 格式的请求体,直接用于你的HTTP请求(比如用requests库),服务器应该能正常识别。这就完成了从解析、理解到重新构造的完整闭环。
5. 常见问题与排坑指南
在实际操作中,你肯定会遇到一些意料之外的情况。这里我总结几个最常见的“坑”和解决方案。
5.1 字段编号不连续或类型推断错误
有时解析出来的字段编号可能不是从1开始连续递增的,比如出现了 ‘1’, ‘3’, ‘5’。这完全正常,Protobuf的字段编号本身就是可以跳跃的。你只需要在你的 message_type 字典里包含所有出现的字段编号即可。
另一种情况是类型推断不准。比如一个字段的值看起来像数字,但其实是枚举(enum),或者是一个fixed32。blackboxprotobuf 可能统一显示为 ‘int’。如果重新编码后服务器报错,你可以尝试在 message_type 中更改类型。例如,将 ‘type’: ‘int’ 尝试改为 ‘type’: ‘uint’ 或 ‘type’: ‘fixed32’。这需要一些试探和对比。
5.2 处理“未知字段”或动态结构
有些Protobuf消息可能包含扩展字段,或者结构是动态变化的。blackboxprotobuf 在解码时,如果遇到无法完全确定类型的部分,可能会保留为原始字节。在 message_type 中,你可能会看到 ‘type’: ‘bytes_packed’ 这样的类型。对于这种情况,一个稳妥的办法是:在重新编码时,直接使用最初解码得到的原始 message_type,不要过度优化它。库最初反推出来的那个类型字典,往往是兼容性最好的。
5.3 编码解码不一致的调试方法
如果你用 encode_message 生成的数据,服务器无法识别,可以按以下步骤排查:
- 对比原始数据:将你新编码的二进制数据,用同样的
decode_message函数(不传入message_type)再解一次,看看得到的数据字典是否和你输入的new_data一致。 - Hex对比:将原始抓包的Hex字符串和你新编码数据的Hex字符串(可以用 `encoded_bytes.hex()‘ 得到)进行逐字节对比。差异点往往就是问题所在,可能是某个字段的类型设置错了。
- 简化测试:尝试只修改一个字段(比如只改邮箱),其他字段保持和原始数据一致,看是否能成功。这样可以定位是哪个字段或哪种类型出了问题。
5.4 性能与自动化考量
对于需要批量处理或者自动化逆向的场景,你可以将成功解析的 message_type 保存为JSON文件:
import json
with open(‘message_type.json’, ‘w’) as f:
# 注意:json不能直接序列化bytes,这里做个简单演示,实际可能需要处理
json.dump(improved_message_type, f, indent=2)
下次需要时直接加载,就无需再次从二进制数据反推了。这在你分析同一接口的不同请求时特别有用,可以快速构建一个本地协议定义库。
6. 进阶技巧:从被动解析到主动探索
掌握了基础流程后,你可以玩得更溜。这里分享两个进阶思路。
思路一:结合流量录制进行差分分析。 当你不知道某个字段的具体含义时,可以录制多个只有该字段值不同的请求(比如修改密码的请求,只改变新密码字段)。然后分别用黑盒解析,对比解析出的数据字典,就能精准定位到哪个字段编号对应密码。这是理解未知协议语义的最有效方法。
思路二:将黑盒类型定义转化为正式Proto文件。 虽然 blackboxprotobuf 让我们摆脱了对proto文件的依赖,但有时为了与团队共享或使用其他Protobuf工具,我们可能需要一个正式的 .proto 文件。你可以根据优化后的 message_type 字典,手动编写一个proto文件。例如,对于我们的示例,可以写成:
syntax = "proto3";
message MyMessage {
bytes email = 1;
bytes password = 2;
int32 country_code = 3;
bytes language = 4;
}
这个过程虽然需要手动操作,但一旦有了proto文件,你就可以使用官方的 protoc 编译器生成各种语言的代码,集成到更大型的项目中。
说到底,blackboxprotobuf 提供的是一种在“黑暗”中摸索前进的能力。它可能无法100%还原原始的proto定义,但在应急响应、快速逆向和协议探索阶段,它的效率和便捷性是无可替代的。我至今在遇到陌生的Protobuf接口时,第一反应仍然是打开Charles,复制Hex,扔到CyberChef,然后用这几行Python脚本快速看一眼数据结构。这套组合拳打下来,大部分问题都能在几分钟内找到突破口。
406



被折叠的 条评论
为什么被折叠?



