spark-shell 显示乱码

本文介绍如何在Spark环境中解决读取Orc格式文件出现乱码的问题。通过修改字符集为UTF-8,并引入相应的解码类,最终解决了乱码问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

用spark shell 进入console环境

查看字符集

scala> System.getProperty("file.encoding")
res5: String = ISO-8859-1

修改字符集为UTF-8

scala> System.setProperty("file.encoding","UTF-8")
res4: String = ISO-8859-1  // 这里返回的结果显示非utf-8 ,但是再用上面查看的命令发现,其实已经设置成功。

到此我的问题,其实并没解决。

情况依旧。

然后发现文件在hdfs上以OrcOutputFormat格式存储,所以显示乱码。

需要引入解码类

scala> textFile.first()
res7: String = ORC ???b?b?????Em????????d??! ?.o%U.~?T ???0M5MK?L5??W0??K????9???�{
ke9??8?????

  scala> import org.apache.spark.sql.hive.orc._
  import org.apache.spark.sql.hive.orc._

 //以上操作后,问题解决。

 

转载于:https://www.cnblogs.com/parkin/p/7879221.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值