String field contains invalid UTF-8 data when serializing a protocol buffer. Use the 'bytes' type if...

最新推荐文章于 2025-03-14 16:30:13 发布
最新推荐文章于 2025-03-14 16:30:13 发布
阅读量5.9k 收藏 1
点赞数 1
文章标签： c/c++ golang php
原文链接：http://www.cnblogs.com/hanframe/p/4146659.html
版权
文章详细介绍了在使用protobuf进行序列化时遇到字符串字段包含无效UTF-8数据的问题，并提供了通过使用'bytes'类型来解决此问题的方法。文中还解释了中间截断导致的utf8字符不完整现象。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

[libprotobuf ERROR google/protobuf/wire_format.cc:1053] String field contains invalid UTF-8 data when serializing a protocol buffer. Use the 'bytes' type if you intend to send raw bytes.

 

原因是中间，用char[]把它截断了，造成utf8字符不完整

转载于:https://www.cnblogs.com/hanframe/p/4146659.html

Node.js v12.16.2 的文档中，“Errors“（错误）部分主要介绍了在 Node.js 运行过程中可能会遇到的错误类型及其处理方法
BLOG域名:programb.blog.youkuaiyun.com
04-16 3833
上述介绍了几种常见场景下的错误类别划分依据及其对应的解决方案思路。合理运用它们可以帮助构建更加健壮可靠的系统架构设计。Node.js v12.16.2 的文档中，“Errors”（错误）部分主要介绍了在 Node.js 运行过程中可能会遇到的错误类型及其处理方法。
论技术领域学好英文的重要性
工控IT“陈生开”的博客
11-17 599
OPCUASDKHelp 封页 Welcome to the UA SDK(欢迎使用UA SDK) //欢迎使用统一体系结构软件开发工具包 Welcome to the Unified Architecture Software Development Kit // uasdk是一组接口、库和可执行文件，允许开发人员使用.NET编程环境快速创建UA应用程序。SDK包括： The UA SDK is a...
解析协议缓冲区时包含无效的UTF-8数据。如果您打算发送原始字节，请使用“bytes”类型问题
森明帮大于黑虎帮的博客
06-06 3856
我确定至少在C++中，我们在解析过程中验证字符串是UTF-8，而不是在序列化过程中。因此，如果C++做了类似的事情，那么就有可能用非UTF-8字符串来序列化proto，这在稍后再次解析proto之前不会被检测到。如果您需要能够在该字段中存储非UTF-8数据，那么您可能需要考虑将其从字符串字段更改为字节字段，这通常是一种安全的更改。字符串字段仅用于存储UTF-8数据，因此如果您需要发送非UTF-8数据，那么最好使用。类型都对应与**C++**的std::string类型。关于第二点，两个函数都定义在**
protobuf错误类似 String field 'xxx' contains invalid UTF-8 data when serializing a protocol buffer.
热门推荐
大东
08-15 2万+
protobuf错误类似String field 'xxx' contains invalid UTF-8 data when serializing a protocol buffer. Use the 'bytes' type if you intend to send raw bytes. 错误的原因是.proto文件中存在中文的string字段类型 ，将string改为bytes...
Compilation error: grpc: error while marshaling: string field contains invalid UTF-8
最新发布
DTHRTC的博客
03-14 633
一个Arduino编译错误，发生在arduino2.3.4版本上。使用2.3.2版本可以避免这个错误。
wire_format.cc:1091] String field 'accountid' contains invalid UTF-8 data when serializing a protoco...
ajphsb0849的博客
08-04 1509
原因： 在protobuf 的string字段中存在中文，序列化的时候会出现截断数据，string这个类型带有检查功能 解决方法： 把protobuf中存在中文的string字段类型 改为bytes string的序列化函数多以下代码 ::google::protobuf::internal::WireFormat::VerifyUTF8StringNamedField( ...
err:rpc error: code = Internal desc = grpc: error unmarshalling request: string field contains inval
aashuii的博客
05-25 4881
grpc客户端call rpc收到：err:rpc error: code = Internal desc = grpc: error unmarshalling request: string field contains inval grpc服务端的RPC回调没有调到。 一般情况下，如果真是string字段包含中文字符客户端会返回 grpc: error marshalling request: string field contains inval。 提示unmarshal失败很可能是客户端和服务端字
golang 字符串编码格式 GBK/UTF-8的判断
tianshi418的专栏
03-30 7226
//GBK编码格式判断 func isGBK(data []byte) bool { length := len(data) var i int = 0 for i < length { if data[i] <= 0x7f { //编码0~127,只有一个字节的编码，兼容ASCI...
RAC: Frequently Asked Questions [ID 220970.1]
11-22 1597
RAC: Frequently Asked Questions [ID 220970.1]Applies to: Oracle Server - Enterprise Edition - Version 9....
System Error Codes/系统错误代码
weixin_30666401的博客
08-10 4775
在windows上程序或脚本运行突然出现未知错误,没有错误信息只有一个code,怎样知道究竟是怎么回事呢？如果知道这个code的意思是多么重要的.这时错误代码(System Error Codes)可以帮上你的忙。 从MSDN 上找到关于如下信息(http://msdn.microsoft.com/en-us/library/ms681381.aspx),页面的build dat...
Win32 Error Codes(转)
阿荣的技术专栏
11-03 8237
  CodeDescriptionName0The operation completed successfully.ERROR_SUCCESS1Incorrect function.ERROR_INVALID_FUNCTION2The system cannot find the file specified.ERROR
[手游项目2]-2-【libprotobuf ERROR 】Use the 'bytes' type if you intend to send raw bytes.
04-16 1267
报错[libprotobuf ERROR e:\patch\protobuf-2.5.0\src\google\protobuf\wire_format.cc:1053] String field contains invalid UTF-8 data when serializing a protocol buffer. Use the 'bytes' type if you intend to...
golang : grpc : error while marshaling: proto: Marshal called with nil
听我一言的博客
07-28 1万+
ERROR: 2020/07/28 17:05:54 grpc: server failed to encode response: rpc error: code = Internal desc = grpc: error while marshaling: proto: Marshal called with nil 原因是返回值为nil, 将返回值设置回需要返回的结构即可, 发现返回成功, 其实原因是grpc传输经过一程编码，由于返回值结构为nil, 导致了编码失败 ...
grpc: failed to unmarshal the received message proto: cannot parse invalid wire-format data
dorlolo的博客
03-04 1718
今天在接口测试的时候碰到这个报错，在这里记录一下。
从string中将UTF-8编码解码成Unicode code point
Dean Chen的专栏
02-06 6543
上一篇UTF-8编码实测 中已经能够用boost.locale库将一个字符的UTF-8编码转换成Unicode code point.今天看了locale的部分代码，作者Artyom建议使用utf_to_utf函数搞定一切。我的需求是将string中所有的字符串的unicode code point都解析出来，似乎utf_to_utf名称并不合适。于是修改了Artyom的部分代码，现在首先看一下m
protobuf之string bytes的区别
xu215740578的博客
04-09 2276
protobuf提供了多种基础数据格式，包括string/bytes。从字面意义上，我们了解bytes适用于任意的二进制字节序列。然而对C++程序员来讲，std::string既能存储ASCII文本字符串，也能存储任意多个\0的二进制序列。那么区别在哪里呢？ 同时在实际使用中，我们偶尔会看到类似这样的运行错误： 1.[libprotobuf ERROR google/protobuf/wir...
python解析二进制消息时，提示 [libprotobuf ERROR google/protobuf/wire_format_lite.cc:534] String field 'XT.QHeartbeat.Source' contains invalid UTF-8 data when parsing a protocol buffer. Use the 'bytes' type if you intend to send raw bytes. python使用了hb.ParseFromString(message2)解析，应该怎么修改？
06-01
这个问题的原因是解析二进制消息时出现了无效的 UTF-8 字符串数据。这通常是由于消息中包含了非 UTF-8 编码的字符串而导致的。为了解决这个问题，建议使用 `bytes` 类型来解析二进制数据，而不是使用 `str` 类型来解析。 具体来说，在解析时，可以使用 `bytes` 类型来解析消息，然后使用 `decode()` 方法将其转换为字符串。代码示例如下： ```python hb = xt_pb2.QHeartbeat() hb.ParseFromString(bytes(message2)) source = hb.Source.decode('utf-8') ``` 这样就可以避免出现解析无效 UTF-8 字符串数据的问题了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值