protobuf的ParseFromArray 解析失败的问题

最新推荐文章于 2025-06-20 10:08:30 发布
原创 最新推荐文章于 2025-06-20 10:08:30 发布 · 2.2w 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在使用Protobuf解析消息时遇到的问题及解决方法。主要讨论了required字段未赋值导致的消息解析失败，并解释了required、optional及repeated字段的区别。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前段时间，在解析定义的Message时，总是提示解析失败，刚开始以为是消息号与消息没有对应上，检查后发现消息号与消息是对应的。

后来发现消息的一个字段定义为required,但是没有赋值，将该字段值添加后，解析成功。

指定字段规则

1、required

一个格式良好的消息一定要含有1个这种字段，表示该值是必须要设置的

2、optional

消息格式中该字段可以有0个或1个值（不超过1个）

3、repeated

在一个格式良好的消息中，这种字段可以重复任意多次（包括0次）。重复的值的顺序会被保留，表示该值可以重复，相当于java中的list

【源码】protobuf 中各个压缩（Serialize）、解压缩（Parse）函数辨析
zhendeC1的博客
04-05 581
大型分布式系统犹如一个生命，系统中各个服务犹如骨骼，其中的数据犹如血液，而Kafka犹如经络，串联整个系统。这份Kafka源码笔记通过大量的设计图展示、代码分析、示例分享，把Kafka的实现脉络展示在读者面前，帮助读者更好地研读Kafka代码。麻烦帮忙转发一下这篇文章+关注我《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！如骨骼，其中的数据犹如血液，而Kafka犹如经络，串联整个系统。
C++和java通过kafka、protobuf传递消息的一些问题
hchhbbcxl的专栏
12-02 2304
最近项目需要在c++端写入数据源到kafka中，使用flink程序分析数据源，首先想到的方法就是利用protobuf做序列化和反序列化。 遇到一些问题，记录一下。 首先准备好pb文件，C++端序列化成二进制文件，代码如下 int size = test.ByteSize(); char buffer[1024]; test.SerializeToArray(buffer, size)...
Protobuf使用手册
weixin_33785108的博客
08-04 1040
Protobuf使用手册 第1章 定义.proto 文件 首先我们需要编写一个 proto 文件，定义我们程序中需要处理的结构化数据，在 protobuf 的术语中，结构化数据被称为 Message。proto 文件非常类似 java 或者 C 语言的数据定义，可以使用C或C++风格的注释。下面是一个proto文件的例子。 package tutorial; opti...
解决问题INVALID_PROTOBUF : Load model from /tmp/ort.quant.x__uutdn/augmented_model.onnx failed:Protobuf
PIDGT的博客
06-20 757
onnxruntime量化过程中解决的一个问题
protobuf 解析错误 ParseFromArray 时返回false
guangyacyb的博客
07-18 6355
protobuf 结构在反序列化ParseFromArray 时返回false 原因： proto文件结构 序列号/反序列化没对上 或者是proto 定义里require 的字段没有填，都可能导致以上错误 ...
tensorflow 较大asset 资源 .pb jni_utils.cc:123 Check failed: message->ParseFromArray(memory, data_size)
zhuiqiuk的专栏
12-06 2252
android asset中放置较大的 资源时会压缩资源，造成 读取时失败。  .pb jni_utils.cc:123 Check failed: message->ParseFromArray(memory, data_size) 在读入tensorflow的图模型.pb文件时，较大。需要在android工程的build.gradle android { aaptOption
protobuf使用错误总结
aofan9566的博客
02-22 445
1>HelloWorldScene.obj : error LNK2019: 无法解析的外部符号 "public: virtual __thiscall LoginReqMessage::~LoginReqMessage(void)" (??1LoginReqMessage@@UAE@XZ)。该符号在函数 "public: void __thiscall HelloWorl...
protobuf c++ python 无法解析正确，无报错的情况
lalafans的博客
12-07 825
protobuf c++ python 无法解析正确，无报错的情况
【详细解析版】Protobuf3使用手册
qq826364410的专栏
01-01 3864
Protobuf使用手册--中文版，好不容易找到了，分享一下给大家。 目录 第1章 定义.proto 文件 1.1 定义package 1.2 定义message 1.3 定义属性 1.3.1 标注 1.3.2 类型 1.3.3 属性顺序号 1.4可选项 1.4.1import可选项 1.4.2packed 1.4.3default 1.5 大数据量使用建议 1.5.1 repeated message类型 1.5.2 repeated raw类型 1.6 Proto...
ProtoBuf入门基础
宁清的博客
07-27 1597
Protocol Buffers 是 Google 的一种语言无关、平台无关、可扩展的序列化结构数据的方法，它可用于（数据）通信协议、数据存储等。 Protocol Buffers 类比于 XML，是一种灵活，高效，自动化机制的结构数据序列化方法，但是比 XML 更小、更快、更为简单。 你可以定义数据的结构，然后使用特殊生成的源代码轻松的在各种数据流中使用各种语言进行编写和读取结构数据。你甚至可以更新数据结构，而不破坏由旧数据结构编译的已部署程序。
c++ protobuf 没有proto文件 如何解析
05-29
// 解析失败 } delete message; } } } ``` 需要注意的是，使用反射机制解析protobuf消息的效率可能会比使用.proto文件生成的代码低，因为它需要在运行时进行解析。如果你有.proto文件，最好还是使用protobuf...
linux环境下protobuf的安装与使用
mijichui2153的博客
08-22 2万+
一、protobuf的下载安装 1、protobuf的下载：这里。此处下载的是protobuf-cpp-3.9.1.tar.gz。 2、安装准备：安装protobuf前确保以下软件都已经被安装。方法也很简单yum -y install XXXX即可。 autoconf automake libtool make g++ unzip 注：值得注意的是我们要将g++设为默认使...............
Protobuf 编码及序列化的记录
u014209688的专栏
06-02 7328
工作中用到了protobuf，然后之前在面试的时候面试官就问了一个问题，如果将int32类型的字段的值设置为0，那还会将该值进行序列化吗？当时是懵了的，因为自己还没有研究这部分。当时给的结果是不会，猜测protobuf中int32的默认值是0，既然默认值是0的，那应该就不会进行序列化了。 那次面试之后就觉得自己应该了解一下这部分了，结果这两天了解完之后，发现自己猜错了。好记...
问题解决：C++与Python之间使用protobuf无法解析
看，未来的博客
12-17 1434
经过一早上的挣扎，最后将.proto文件进行了微调： 从： message login_request{ fixed32 id = 1; fixed32 pwd = 2; } 改成了： message login_request{ int32 id = 1; int32 pwd = 2; } Python的二进制流开头是一个b，C++的没有，这个问题不大，注意一下就好。 网上翻来翻去，全都是：protobuf使用教程、protobuf,json,XML对比 这一类的，看的
Java protobuf parseFrom遇到While parsing a protcol message...
qq_14846889的博客
02-07 2015
消息中间件是rabbitmq， 消息的生产端发送的消息并不是toByteArray 处理后到rabbitmq的，而是通过JsonFormat.printer().print() 处理过的json格式的字符串发送到rabbitmq。消费端如果是直接parseFrom byte[] 格式的数据就会报上面的错误。body 为byte[] 类型。出现这个错误有很多种，
protobuf出现“ParseFromIstream return false”问题
ISmileLi的博客
06-27 3792
自己使用C++序例化好的数据，解析的时候一直出现“ParseFromIstream return false”问题，关键是有的文件可以解析成功，有的不可以解析成功。 查找了半天的时间发现是：序列化的过程中有一些字段类型赋值错误导致，我犯的错误把int类型赋值给bool类型，导致查找问题根源都定位的不对。 在使用protobuf过程中，无故出现解析相关问题，建议从两个方面入手： 第一：看看是不是把不可以兼容的类型赋值给了另外的类型，例如把int直接赋值给bool类型。 第二：看看自己定义的结构体变量是否给了初
protobuf进行ParseFromString解包失败的一个常见问题
热门推荐
werflychen的专栏
06-11 4万+
今天在项目中，使用protobuf进行解包时
ProtoBuf 常用序列化/反序列化API
yasi_xi的专栏
03-20 1499
转自：http://blog.youkuaiyun.com/sealyao/article/details/6940245 1、C数组的序列化和反序列化API [cpp] view plaincopy //C数组的序列化和序列化API   bool ParseFromArray(const void* data, int size);
protobuf ParseFromString
最新发布
08-01
<think>我们正在讨论Protocol Buffers的解析问题，特别是ParseFromString方法的使用。根据引用[2]，protobuf通过.proto文件定义数据结构，然后生成类，该类提供了解析和序列化方法。 用户需要知道如何使用ParseFromString方法解析消息字符串。我们将给出一个完整的C++示例，包括.proto文件定义、编译步骤和代码示例。 步骤： 1. 定义.proto文件（例如person.proto） 2. 使用protoc编译器生成C++类 3. 在C++代码中引用生成的头文件，使用ParseFromString解析字符串 注意：引用[1]提到protobuf有默认大小限制（64MB），如果数据超过这个限制，解析会失败。因此，在解析大消息时，需要设置大小限制。 示例代码将包括： - 创建消息对象并解析字符串 - 处理解析结果（检查是否成功） - 读取消息字段 同时，我们将提醒用户注意消息大小限制问题。</think>### Protocol Buffers 的 ParseFromString 方法解析 Protocol Buffers (protobuf) 的 `ParseFromString()` 方法用于将二进制格式的字符串反序列化为消息对象。以下是使用示例和解析过程详解： #### 1. **基本使用示例 (C++)** ```cpp // 包含生成的头文件（根据.proto文件生成） #include "person.pb.h" int main() { // 创建消息对象 Person person; // 模拟接收到的二进制数据（实际场景中从网络/文件读取） std::string binary_data = GetDataFromSource(); // 核心解析：将二进制字符串解析为消息对象 bool success = person.ParseFromString(binary_data); if (success) { // 访问解析后的字段 std::cout << "Name: " << person.name() << std::endl; std::cout << "Age: " << person.age() << std::endl; } else { std::cerr << "解析失败！数据可能损坏或超过大小限制" << std::endl; } return 0; } ``` #### 2. **解析过程详解** 1. **二进制格式验证** - 检查输入字符串是否符合 protobuf 的[编码规范](https://protobuf.dev/programming-guides/encoding/)，包括字段标签（Tag）、数据类型（Wire Type）和值编码。 - 若格式非法（如标签缺失或数据类型不匹配），立即返回错误。 2. **内存分配与字段映射** - 根据.proto 定义的消息结构，动态分配内存空间。 - 通过字段标签（如 `1` 对应 `name` 字段）将二进制数据映射到消息对象的对应字段。 3. **数据类型解析** - 基本类型（如 `int32`、`string`）直接解码为对应语言类型（C++ 的 `int`、`std::string`）。 - 嵌套消息递归调用 `ParseFromString()` 进行解析。 4. **大小限制处理** - **默认限制为 64MB**，超限时解析失败（常见错误来源）[^1]。 - 可通过代码调整限制（需谨慎）： ```cpp google::protobuf::io::CodedInputStream decoder(input_stream); decoder.SetTotalBytesLimit(100 * 1024 * 1024); // 提高到100MB ``` #### 3. **常见问题与解决** | 问题类型 | 原因 | 解决方案 | |-------------------------|-------------------------------|------------------------------| | 解析返回 `false` | 数据损坏/超限/格式错误 | 验证数据源，调整大小限制 | | 字段值丢失 | .proto 定义与数据版本不一致 | 保持.proto 文件同步更新 | | 内存占用过高 | 嵌套消息过深或重复字段过多 | 优化数据结构，分块传输 | > **关键提示**：所有 protobuf 反序列化接口（`ParseFromArray()`, `ParseFromFileDescriptor()`）均受相同的大小限制约束[^1]。 #### 4. **最佳实践** 1. **预处理检查**： ```cpp if (binary_data.size() > kMaxSize) { // 自定义阈值 return HandleOversizeData(); // 分片处理或拒绝 } ``` 2. **错误处理**： - 结合 `ParseFromString()` 的返回值与 `message.IsInitialized()` 验证必需字段完整性。 3. **安全防护**： - 对不可信数据源设置更严格的大小限制，防止内存耗尽攻击。 --- ### 相关问题 1. 如何解决 protobuf 解析时的 "数据超过 64MB 限制" 错误？ 2. Protocol Buffers 的二进制编码原理是什么？ 3. 在分布式系统中如何保证.proto 文件的版本兼容性？ [^1]: 解析失败可能由数据大小超过默认限制导致，需调整字节限制或分片处理。 [^2]: protobuf 通过.proto 文件定义数据结构，编译器生成编解码类，简化序列化过程。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

kgduu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值