google.protobuf.message.DecodeError: Truncated message. 解决方法

最新推荐文章于 2024-07-05 11:15:46 发布
原创 最新推荐文章于 2024-07-05 11:15:46 发布 · 1.4w 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#protobuf

本文介绍了解决Python中解析PB文件时遇到的Truncated message错误的方法。通过先读取文件然后使用strip()处理后再进行解析可以有效避免此问题。
部署运行你感兴趣的模型镜像

python 读取pb文件，再解析pb文件的时候报错：google.protobuf.message.DecodeError: Truncated message.

解决方法：

读取文件后需要strip(),之后再解析,可以解决该问题

您可能感兴趣的与本文相关的镜像

Python3.9

Python3.9

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

qq_20488317
关注
flume系列之：While parsing a protocol message, the input ended unexpectedly in the middle of a field.
zhengzaifeidelushang的博客
12-15 357
flume系列之：Caused by: com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field. This could mean either than the input has been truncated or that an embedded message misreport
protostuff 传输格式问题
悟已往之不谏，知来者之可追
09-02 4280
异常信息： msg=com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field. This could mean either that the input has been t...
google.protobuf.message.DecodeError: Truncated message. （in DecodeRepeatedField）
豆芽菜
12-29 4771
遇到的情况是在linux_aarch64下编译的程序（使用tensorflow pb文件做预测），在执行时报错： Traceback (most recent call last): ...... File "google/protobuf/message.py", line 199, in ParseFromString File "google/protobuf/internal/python_message.py", line 1145, in MergeFromString Fi
5-google::protobuf命名空间下常用的C++ API----message.h
搬砖人的自我修养
07-05 894
namespace。
in MergeFromString raise message_mod.DecodeError(‘Truncated message.‘)google.protobuf.message.
whuzhang16的博客
12-15 3123
在用python引用protobuf编译好的.py文件时遇到报错： File "/home/yany/.local/lib/python2.7/site-packages/google/protobuf/message.py", line 199, in ParseFromString return self.MergeFromString(serialized) File "/home/yany/.local/lib/python2.7/site-packages/google/proto
【多模态大模型学习--llava部署踩坑：google.protobuf.message.DecodeError: Error parsing message】
Mugi_jiang的博客
04-25 2301
大模型学习，安装flash-attn的踩坑过程
google.protobuf.message.DecodeError: Tag had invalid wire type.
qq_20488317的博客
04-01 1万+
可能问题： 在pb文件读出的时候应该用SerializeToOstream而不是SerializeToString 举例: ofstream foutreq(file.c_str()); if (!req_pb().SerializeToOstream(&foutreq)) { cout << "Failed to write address book.
graph_def.ParseFromString(f.read()) google.protobuf.message.DecodeError: Error parsing message
ze1336365763的博客
05-30 5818
当测试https://github.com/ildoonet/tf-pose-estimation/ 仓库执行如下命令时 python run.py --model=cmu --resize=656x368 --image=./images/p1.jpg 遇到如上问题，在网上没有找到解决方案，仔细分析原因：在下载模型时发现下载的模型不全只有几百KB大小;通过如下命令很难把模型完整下载下来。 $ cd models/graph/cmu $ bash download.sh 模型下载链接：链接: .
While parsing a protocol message, the input ended unexpectedly in the middle of a field. This could mean either that the input has been truncated or that an embedded message misreported its own length. 2025-06-12 21:47:02,722 [12] ERROR PitayaClient.Zmq.ZeroMqClient - at Google.Protobuf.CodedInputStream.RefillBuffer(Boolean mustSucceed) in T:\src\github\protobuf\csharp\src\Google.Protobuf\CodedInputStream.cs:line 1426 at Google.Protobuf.CodedInputStream.ReadRawByte() in T:\src\github\protobuf\csharp\src\Google.Protobuf\CodedInputStream.cs:line 1476 at Google.Protobuf.CodedInputStream.ReadRawVarint64() in T:\src\github\protobuf\csharp\src\Google.Protobuf\CodedInputStream.cs:line 1205 at Google.Protobuf.UnknownFieldSet.MergeFieldFrom(CodedInputStream input) in T:\src\github\protobuf\csharp\src\Google.Protobuf\UnknownFieldSet.cs:line 190 at Google.Protobuf.UnknownFieldSet.MergeFieldFrom(UnknownFieldSet unknownFields, CodedInputStream input) in T:\src\github\protobuf\csharp\src\Google.Protobuf\UnknownFieldSet.cs:line 269 at FCoreProto4GDR.PosiItem.MergeFrom(CodedInputStream input) in E:\GUI\ArdaClient\protobufLib\ProtoGenerated\Fcore4GDR.cs:line 4431 at Google.Protobuf.CodedInputStream.ReadMessage(IMessage builder) in T:\src\github\protobuf\csharp\src\Google.Protobuf\CodedInputStream.cs:line 621 at FCoreProto4GDR.PubDetails.MergeFrom(CodedInputStream input) in E:\GUI\ArdaClient\protobufLib\ProtoGenerated\Fcore4GDR.cs:line 9135 at Google.Protobuf.MessageExtensions.MergeFrom(IMessage message, Byte[] data, Boolean discardUnknownFields, ExtensionRegistry registry) in T:\src\github\protobuf\csharp\src\Google.Protobuf\MessageExtensions.cs:line 214 at Google.Protobuf.MessageParser`1.ParseFrom(Byte[] data) in T:\src\github\protobuf\csharp\src\Google.Protobuf\MessageParser.cs:line 247 at PitayaClient.Zmq.ZeroMqClient.SubscribeOrdRelated() in D:\project\GUI\ardaclient\PitayaClient\Zmq\ZeroMqClient.cs:line 37
06-14
解决方法是使用JsonFormat解析JSON字符串。-引用[5]：在写入和读取过程中，数据可能被修改（例如字符串编码问题），导致二进制数据损坏。用户特别提到ZeroMqClient，因此我们需要考虑ZeroMQ消息传递中可能的数据截断...
(py312) D:\Projects\project_Py\proto\proto\py>python test.py Traceback (most recent call last): File "D:\Projects\project_Py\proto\proto\py\test.py", line 149, in <module> fplay2('D:/work/data/shanqi/20250630143214/a1000_pic.dat',None) File "D:\Projects\project_Py\proto\proto\py\test.py", line 127, in fplay2 parse_adas_message(jpeg) File "D:\Projects\project_Py\proto\proto\py\test.py", line 45, in parse_adas_message adas_msg.ParseFromString(protobuf_data) google.protobuf.message.DecodeError: Error parsing message with type 'autoplt.canfd.AdasMsg' 这个报错如何解决
07-04
在使用 Google Protocol Buffers（protobuf）时，出现 `DecodeError: Error parsing message` 或 `Truncated message` 错误通常表示解析过程中遇到了数据格式异常或不完整的消息。以下是一些常见的原因和对应的解决...
Error parsing message with type 'trm.pb.Frame
05-07
except google.protobuf.message.DecodeError as e: print(f"数据损坏：{str(e)}") ``` 2. **确认协议一致性** - 确保所有系统使用相同版本的 `.proto` 文件 - 重新生成 Python 协议类： ```bash protoc --...
Handling truncated messages
llfwdd的专栏
08-11 494
MQ报错：MQRC_TRUNCATED_MSG_FAILED，不要把这种返回错误当成错误，应该理解为是可以解决的 原创IP：https://hursleyonwmq.wordpress.com/2007/02/21/handling-truncated-messages/ I needed to write a small C WebSphere MQ app today which
google protobuf_JAVA序列化工具之protobuf、messagepack
weixin_39904522的博客
11-14 574
序列化工具介绍知识要点JAVA默认序列化MessagePack序列化工具protobuf序列化工具本文对以上三种序列化后流大小比较以及工具简单的使用JAVA默认序列化//实现Serializable接口User user = new User();user.setId(1);user.setName("张三");ByteArrayOutputStream out = new ByteArrayOu...
tensorflow1.0-解决加载图模型时报错google.protobuf.message.DecodeError: Error parsing message
热门推荐
u011311291的博客
04-07 2万+
使用以下代码，加载图模型的时候会报错 #保存图模型 tf.train.write_graph(sess.graph_def, graph_dir, 'graph.pbtxt',as_text=True) #加载图模型 with tf.gfile.FastGFile("modle_graph/graph.pbtxt","rb") as f: graph_def...
google protobuf_protobuf 由消息生成类
weixin_39761647的博客
11-27 961
由消息生成类protobuf与编程语言独立，仅仅定义了消息，是无法使用它们的。在proto文件定义消息后，要将消息转成特定编程语言中的类型，来应用消息。以下以C++为例。protoc编译A.proto文件生成A.pb.h和A.pb.cc文件。"protoc -I=${SRC_DIR} --cpp_out=${DST_DIR} ${SRC_DIR}/A.proto "A.pb.*里面有proto文件...
google protobuf 消息反射
Only Me
03-02 1027
Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准，他们用于 RPC 系统和持续数据存储系统。 Protocol Buffers 是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式，...
protobuf message定义_Protobuf语言指南
weixin_39678525的博客
11-27 9587
什么是 ProtobufProtobuf是Protocol Buffers的简称，它是Google公司开发的一种数据描述语言，用于描述一种轻便高效的结构化数据存储格式，并于2008年对外开源。Protobuf可以用于结构化数据串行化，或者说序列化。它的设计非常适用于在网络通讯中的数据载体，很适合做数据存储或 RPC 数据交换格式，它序列化出来的数据量少再加上以 K-V 的方式来存储数据，对消息的版...
2021-07-14unity输出信息出现＜message truncated＞怎么办
weixin_43322145的博客
07-14 3101
unity输出信息出现怎么办 有时候编译Unity项目的时候有错误，查看错误的时候控制台输出，是因为输出信息过长显示不下，于是就被截断了的原因。 这时如果想看完整的错误信息，可以去查找Editor.log来查看日志。、 这个文件在每个系统上的路径不一致，具体如下： Mac osx: ~/Library/Logs/Unity/Editor.log Windows xp: C:\Documents and Settings\username\Local Settings\Application Data_\U
google protobuf 根据message name获得proto类
riopho的专栏
05-19 3742
先获取描述符google::Protobuf::Descriptor* desc = google::protobuf::DescriptorPool::generated_pool() -&gt;FindMessageTypeByName("mypkg.MyType"); assert(desc != NULL);然后google::protobuf::Message* ...
decoded = typing.cast(Optional[int], proto.ParseFromString(serialized)) google.protobuf.message.DecodeError: Error parsing message with type 'onnx.ModelProto'
最新发布
07-14
<think>首先，用户的问题是关于解决在使用 Protocol Buffers 解析 ONNX ModelProto 类型消息时遇到的 DecodeError 错误。具体错误是：google.protobuf.message.DecodeError。 用户引用了两个站内引用： - 引用[1]：讨论了使用 onnx 库进行图修改的挑战，如手动管理张量名称、缺乏高级抽象、错误倾向性。 - 引用[2]：提到在实际部署中，ONNX 模型被视为黑盒，但可以通过子模型提取进行调试。 这些引用不是直接相关的，但用户指定了问题：解析 onnx.ModelProto 失败的错误。所以，我需要专注于解决 DecodeError。 关键点： - DecodeError 通常发生在 Protocol Buffers 解析失败时，可能由于数据损坏、版本不匹配或格式错误。 - 用户是在解析 onnx.ModelProto 消息时遇到这个错误。 系统级指令： 1. 所有行内数学表达式必须使用 $...$ 格式。 2. 独立公式使用 $$...$$ 格式并单独成段。 3. LaTeX 语法正确。 4. 使用中文回答。 5. 生成相关问题。 6. 回答中引用的段落末尾自然地添加引用标识，例如 [^1]。 用户可见层： - 回答结构清晰，帮助用户逐步解决问题。 - 保证回答真实可靠。 回答结构： 1. 解释错误原因：简要说明 DecodeError 是什么，为什么在解析 ONNX ModelProto 时发生。 2. 提供解决方法：列出可能的解决方案，一步步指导用户。 3. 生成相关问题：在最后添加相关问题。 可能的解决方法： - 检查数据完整性：确保 ONNX 模型文件没有损坏。 - 版本兼容性：确保使用的 ONNX 和 protobuf 库版本兼容。 - 正确使用解析函数：验证代码中解析 ModelProto 的方式是否正确。 - 调试技巧：如使用 ONNX 检查器或尝试提取子模型来隔离问题（参考引用[2]）。 引用标识：在回答中，如果引用用户提供的引用，添加 [^1] 或 [^2]。但用户提供的引用是关于 ONNX 修改和调试的，不是直接关于 DecodeError。所以，我需要基于一般知识回答，但可以自然地融入引用。 例如，提到子模型提取作为调试方法时，可以添加 [^2]。 最终输出： - 以中文回答。 - 包括行内数学表达式时使用 $...$，但这个问题可能不涉及数学，所以可能不需要。 - 独立公式：如果有公式，使用 $$...$$，但这里可能没有。 - 生成相关问题：在最后添加 "§§相关问题§§" 部分。 相关问题示例： 1. 如何检查 ONNX 模型的有效性？ 2. 如何处理 Protocol Buffers 版本冲突？ 3. ONNX 模型调试的最佳实践是什么？</think>### 解决 google.protobuf.message.DecodeError 解析 onnx.ModelProto 失败的问题 当您在使用 Protocol Buffers 解析 ONNX ModelProto 类型消息时遇到 `google.protobuf.message.DecodeError` 错误，这通常表示解析过程失败。该错误可能由多种原因引起，包括数据损坏、版本不兼容或格式错误。下面我将逐步解释原因并提供解决方法，帮助您高效解决问题。本回答基于 ONNX 和 Protocol Buffers 的官方文档及常见调试实践。 #### 错误原因分析 `DecodeError` 是 Protocol Buffers 在反序列化二进制数据时抛出的异常，具体到 ONNX ModelProto 消息，常见原因包括： 1. **数据损坏**：ONNX 模型文件（通常是 `.onnx` 文件）在保存、传输或加载过程中被破坏，导致二进制数据不完整或无效。 2. **版本不匹配**：使用的 ONNX 库版本与生成模型的框架（如 PyTorch 或 TensorFlow）不兼容。例如，ONNX 模型使用较新版本的 opset，但您的解析环境使用旧版 ONNX 运行时。 3. **解析代码错误**：在代码中调用 `ParseFromString()` 或类似方法时，输入数据格式不正确（如传递了非二进制数据）。 4. **模型结构问题**：ONNX 模型本身包含无效节点或张量，例如未通过 `onnx.checker` 验证的模型，容易在解析时触发错误[^1]。 #### 逐步解决方法 以下是针对 `DecodeError` 的实用解决方案。请按顺序尝试，每个步骤后验证是否解决。 1. **检查模型文件完整性** 首先，确保 ONNX 模型文件未损坏。使用命令行工具或 Python 脚本验证文件哈希值： ```python import hashlib with open("model.onnx", "rb") as f: data = f.read() print("SHA-256 Hash:", hashlib.sha256(data).hexdigest()) ``` 如果文件损坏，重新导出模型或从可靠来源获取副本。 2. **验证 ONNX 模型有效性** 使用 ONNX 的 `checker` 模块验证模型结构是否有效。无效模型（如张量名称冲突或类型不匹配）会引发 `DecodeError`： ```python import onnx model = onnx.load("model.onnx") # 如果加载失败，错误更明显 onnx.checker.check_model(model) print("Model is valid!") ``` 如果检查失败，错误消息会指示具体问题（如节点输入/输出不匹配），便于修复[^1]。 3. **确保版本兼容性** ONNX 和 Protocol Buffers 库的版本必须兼容。升级或降级库版本： - 检查 ONNX 版本：`pip show onnx` - 更新库： ```bash pip install --upgrade onnx protobuf ``` 如果模型由特定框架导出（如 PyTorch），确保框架的 ONNX 导出器版本与您的 ONNX 运行时匹配。例如，PyTorch 1.12 导出的模型可能要求 ONNX runtime >= 1.10。 4. **调试解析代码** 在代码中解析 ModelProto 时，确保使用正确方法： - **错误示例**：传递了字符串而非二进制数据。 ```python # 错误：直接传递文本数据会引发 DecodeError with open("model.onnx", "r") as f: data = f.read() model_proto = onnx.ModelProto() model_proto.ParseFromString(data) # 可能失败 ``` - **正确方法**：以二进制模式读取文件。 ```python # 正确：读取二进制数据 with open("model.onnx", "rb") as f: data = f.read() model_proto = onnx.ModelProto() model_proto.ParseFromString(data) # 应成功 ``` 如果错误持续，尝试使用 `onnx.load()` 替代手动解析，它内部处理了错误检查。 5. **使用子模型提取进行隔离调试** 如果模型过大或复杂，提取子模型以缩小问题范围。ONNX 提供了子模型提取功能，帮助定位无效节点： ```python from onnx import helper # 提取部分图（例如前10个节点） subgraph = helper.extract_subgraph(model.graph, nodes=[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) submodel = helper.make_model(subgraph) onnx.save(submodel, "submodel.onnx") ``` 然后尝试解析子模型。如果成功，问题可能出在剩余部分；如果失败，聚焦调试提取的子图[^2]。 6. **其他高级技巧** - **启用详细日志**：设置环境变量 `ONNX_VERBOSE=1` 或使用 `onnxruntime.set_log_severity(0)` 获取详细错误。 - **回退到旧版 ONNX**：如果模型由新工具导出，尝试使用旧版 ONNX 解析器（如 ONNX 1.8）。 - **检查 Protobuf 编码**：确保模型文件是标准 Protocol Buffers 二进制格式，而非 JSON 或其他。 #### 总结 `google.protobuf.message.DecodeError` 在解析 ONNX ModelProto 时通常源于数据损坏、版本冲突或模型无效。通过逐步检查文件完整性、验证模型、更新库版本和调试代码，大多数问题可解决。如果错误持续，考虑模型导出环境或使用 ONNX 的调试工具如子模型提取[^2]。预防性措施包括在导出模型后立即运行 `onnx.checker.check_model()` 以确保兼容性。
评论 6
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值