Java的String不能处理中文utf-8编码

最新推荐文章于 2025-09-16 01:37:59 发布
原创 最新推荐文章于 2025-09-16 01:37:59 发布 · 1.1w 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #string #utf-8 #camus #sequencefile

Sequence File 文件格式支持文件分割，所以适合map-reduce作业。最近有一个项目，把kafka的protobuf数据写到hdfs，方便下游的离线作业做数据分析。

在kafka中，protobuf序列化成了byte数组（message就是byte数组）。这个时候在linkedin的camus（linkedin开源的一个把kafka数据写到hdfs 的工具）中配置作业把kafka message以sequence file的格式写到hdfs。Sequence file的key是org.apache.hadoop.io.LongWritable，value是org.apache.hadoop.io.Text。

很顺利，我们把数据写到了hdfs，然后我自己写一个pig udf去解析protobuf的数据。Pig本身有一个udf去读取sequencefile：org.apache.pig.piggybank.storage.SequenceFileLoader。因为存放的是Text，所以pig读取的时候就转成了chararray。然后我就遇到了如下的错误：

bad record, bad formatcom.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field.  This could mean either than the input has been truncated or that an embedded message misreported its own length.

后来我们花费了很长时间，甚至查看了protobuf的二进制，做了人工翻译，

最低0.47元/天 解锁文章
ahugeduck
关注
Java判断UTF-8串字符数量
爱在梦醒时分的博客
07-14 1205
前几天作业帮面试的一道编程题，题目要求，给定一个UTF-8编码的字符串(字符数组的形式)，返回该字符串的字符数量。 UTF-8编码介绍： UTF-8编码中一个字符的长度为1-6个字节，其中，该字符的长度在第一个字节（byte）的前1-6位有表示，具体如下： 有了以上参考资料大体就有思路了，那就是遍历字符数组统计每个字符的长度，然后将i+字符长度-1，判断字符长度的时候，直接将byte与二进制的0b...
为什么Java默认使用UTF-16，Golang默认使用UTF-8呢？
Mint6的博客
06-21 1127
为什么Java默认使用UTF-16，Golang默认使用UTF-8呢？Java 和 Go 在处理字符编码方面的选择，反映了它们各自的历史背景和设计哲学。Java 的 UTF-16 选择了稳定和兼容，而 Go 的 UTF-8 则倾向于现代互联网应用的灵活性和效率。
java中文乱码改utf8没用_中文乱码问题（请问为啥为设置了字符编码为utf-8，但是username的时候还是乱码了）...
weixin_36051064的博客
02-24 682
pageEncoding="utf-8"%>主页用户登录request.setCharacterEncoding("utf-8");String username="";String password="";Cookie[] cookies = request.getCookies();if(cookies != null && cookies.length > 0){...
Java-WebSocket帧操作详解：文本、二进制与控制帧处理
最新发布
gitblog_00347的博客
09-16 659
你是否曾遇到过WebSocket消息传输中的乱码问题？或者在处理大型二进制数据时遭遇性能瓶颈？作为实时通信的基石，WebSocket帧（Frame）操作直接决定了数据传输的效率与可靠性。本文将深入解析Java-WebSocket库的帧处理机制，从文本帧的UTF-8验证到二进制数据的分片传输，从控制帧的心跳维护到异常关闭的状态码处理，全面掌握帧操作的底层逻辑与最佳实践。 读完本文你将获得： - 文...
java utf8解析_java – 无法解析和显示从http请求中读取的非utf8字符
weixin_39827304的博客
02-24 293
您遇到的问题很可能是由于您在谷歌的http响应中读取的字符编码设置不正确造成的.你可以发布实际获取URL的代码并将其解析为JSON对象吗？举个例子,运行以下代码：public class Test1 {public static void main(String [] args) throws Exception {// just testing that the console can outp...
中文文本utf-8编码无法识别问题
张某文_Lambda的博客
04-23 5276
python写入文件时，使用encoding=‘utf-8’格式编码生成的csv文件中文乱码，如何解决？ 使用‘utf-8’编码写入了某个excel/csv等表格文件，却发现直接使用excel应用程序打开时无法看懂，出现中文乱码得情况。不过，用记事本、notepad++等普通的文本编译器却可读。
string转utf8后解决TTS识别中文的问题
阳光柠檬_的技术笔记
06-23 2056
今天遇到string字符编码的问题，因为遇到了用TTS将文本转语音的一个API，里面的中文必须是utf8的，我传了一个uncode编码的中文进去，就一直不能正常读出来，后来才发现是编码的问题。这里在网上找到两个API，可将string 传成utf8编码的string，挺好用的。 记录下来： std::string string_To_UTF8(const std::string & s
Java避免UTF-8的csv文件打开中文出现乱码的方法
08-25
如果需要兼容多个Excel版本，可以使用UTF-8编码格式，并在文件头部输出BOM，即0xEF 0xBB 0xBF这三个字节。 Java避免UTF-8的csv文件打开中文出现乱码的方法是使用UTF-16LE编码格式，并在文件头部输出BOM。同时，需要...
Java 所有字符串转UTF-8 万能工具类-GetEncode.java
04-04
不需要关心接受的字符串编码是UTF_8还是GBK，还是ios-8859-1，自动转换为utf-8编码格式，无需判断字符串原有编码，用法：//处理编码String newStr = GetEncode.transcode(oldStr);
编码规则UTF-8 和 UTF-16的区别
Mint6的博客
06-21 1754
UTF-8: 以可变长度编码字符，具有较好的 ASCII 兼容性和网络传输效率，非常适合以英语为主的文本处理和互联网应用。UTF-16: 适合需要处理大量非 ASCII 字符的场景，虽然占用存储空间较大，但在处理字符时较为高效，适合在内存中存储文本和内部字符处理。
Can't convert string from native encoding to 'UTF-8' problems
beyondlpf的专栏
10-22 1209
svn遇到的问题: Can't convert string from native encoding to 'UTF-8' problems 问题原因,执行周期性脚本时,文件名存在中文 解决办法,crontab 脚本中增加 LC_ALL=en_US.UTF-8
message protocol
06-23
These technical requirements form a standard for a Short Message Service (SMS), providing delivery of text and numeric information for paging, messaging, and voice mail notification. This standard includes Service Option 6 and Service Option 14 (as defined in [15]), which support delivery of short messages on Traffic Channels. Service Option 6 and Service Option 14 conform to the general requirements for service options specified in [10]. A mobile station can obtain Short Message Service operating in either the analog or the spread spectrum (CDMA) mode when it conforms to this standard. This standard does not address the quality or reliability of Short Message Service, nor does it cover equipment performance or measurement procedures.
svn: Can't convert string from 'UTF-8' to native encoding 解决办法
luosimuer
08-06 4258
今天在down代码时遇到了如下问题： [xxx@xxx ~]$ svn co https://xxxxxxxxxxxxx svn: Can't convert string from 'UTF-8' to native encoding: svn: xxxxxxxx/include/xml_inc/XML/?\194?\184?\194?\180?\194?\188?\195?\190 mc
svn commit 报【cannot convert string from native encoding to ‘UTF-8‘】错误的解决办法
mac文的java路
09-11 925
查看电脑所有语言环境 locale -a 编辑profile文件，最后一行添加UTF-8的语句export LC_ALL=C.UTF-8 vi /etc/profile source /etc/profile 通过命令locale查看当前语言环境。发现已经修改好了
Using UTF-8 locales in [B]LFS
vptr_grid的专栏
04-11 2441
AUTHOR: Alexander E. PatrakovDATE: 2003-11-06LICENSE: Public DomainSYNOPSIS: Using UTF-8 locales in [B]LFSDESCRIPTION:This hint explains what should be changed in the LFS and BLFS instructio
解析协议缓冲区时包含无效的UTF-8数据。如果您打算发送原始字节，请使用“bytes”类型问题
森明帮大于黑虎帮的博客
06-06 4299
我确定至少在C++中，我们在解析过程中验证字符串是UTF-8，而不是在序列化过程中。因此，如果C++做了类似的事情，那么就有可能用非UTF-8字符串来序列化proto，这在稍后再次解析proto之前不会被检测到。如果您需要能够在该字段中存储非UTF-8数据，那么您可能需要考虑将其从字符串字段更改为字节字段，这通常是一种安全的更改。字符串字段仅用于存储UTF-8数据，因此如果您需要发送非UTF-8数据，那么最好使用。类型都对应与**C++**的std::string类型。关于第二点，两个函数都定义在**
java后台请求第三方接口，写入中文参数时失败“message“:“Invalid UTF-8 start byte 0x84\n at XXXXXXXXX
丁东的博客
11-06 2839
RT调用第三方接口时，参数有些要传入中文，在connection.setRequestProperty("Content-Type", "application/json;charset=utf-8");这里也设置了编码格式，但是写入时还是会报{"status":400,"message":"Invalid UTF-8 start byte 0x84\n at [Source: (PushbackInputStream); line: 1, 找了一下度娘，发现问题出现在我写入时没有进行编码的指定
Java中使用Protobuf中文解析出错
DAMN WHERE'D YOU FIND THAT
05-16 1万+
报错： com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field. This could mean either that the input has been truncated or that an embedded message misreported its own len
byte[]与String转换引起的protobuf反序列化抛异常问题
热门推荐
yinn
03-23 4万+
使用protobuf时，将string写入ssdb然后再读出来反序列化protobuf message的时候报错：com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field. Th
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值