spark如何读入GBK编码文件解决办法

最新推荐文章于 2023-03-23 18:49:19 发布

踩坑小王子

最新推荐文章于 2023-03-23 18:49:19 发布

阅读量5.6k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark 文章标签：大数据

本文链接：https://blog.youkuaiyun.com/Clark_Fitz817/article/details/84959976

在使用Spark 2.4.0处理GBK编码的10Gb大文件时遇到问题，导致读取结果出现乱码。通过理解编码转换问题，尤其是GBK与UTF-8之间的转换冲突，可以尝试不依赖外部编辑器。利用Java语言，通过hadoopFile读取文件，再进行映射操作，将读取的字节流以GBK编码解析为字符串，有效解决了这个问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述
初学大数据处理框架 spark ,在读入实验的数据时,遇到了经典的字符编码问题
实验环境:

os:ubuntu 18.04
spark: version 2.4.0

使用spark读入的文件编码是 gbk,大小是10Gb
根据spark的文档介绍,使用的函数是

SparkConf conf = new SparkConf().setAppName("first").setMaster("local");
JavaRDD<String> distFile = sc.textFile("data.txt");

由于这个函数只能固定使用UTF-8编码格式读取文件
然后读到的结果就成

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

踩坑小王子

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

IMF spark 读入文件中文编码转换处理（JAVA版本）

大模型与Agent智能体

01-25

1520

IMF spark 读入文件中文编码转换处理（JAVA版本） SparkConf sparkConf = new SparkConf().setMaster("local").setAppName("UTFtoGBK"); JavaSparkContext sc = new JavaSparkContext(sparkConf); JavaRDD lines = sc.hadoopF

Spark读取压缩文件

主要分享大数据相关的知识，如Spark、Hudi

06-05

1万+

转载请务必注明原创地址为：https://dongkelun.com/2018/05/30/sparkGZ/ 前言本文讲如何用spark读取gz类型的压缩文件，以及如何解决我遇到的各种问题。 1、文件压缩下面这一部分摘自Spark快速大数据分析：在大数据工作中，我们经常需要对数据进行压缩以节省存储空间和网络传输开销。对于大多数Hadoop输出格式来说，我们可以指定一种压缩编......

参与评论您还未登录，请先登录后发表或查看评论

Spark读取HDFS文件，文件格式为GB2312，实现WordCount示例

DF_XIAO的专栏

02-09

2656

import scala.Tuple2; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.lib.input.TextInputFor

Mapreduce 处理gbk文件的方式（输入gbk文件和输出gbk文件）

bjtucheryl的博客

02-05

1382

package cheryl.dhcc.mapreduce; import java.io.IOException; import java.io.UnsupportedEncodingException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apach

MapReduce的输出格式

weixin_34342207的博客

04-01

337

1. OutputFormat接口　　OutputFormat为输出格式接口，主要用于描述输出数据的格式，它能将输出的键值对写入特定格式的文件中。输出格式的层次结构如下 2. 文本输出　　Hadoop默认的输出格式为文本输出格式TextOutputFormat，其键和值可以使任意类型的，因为该输出方式会调用toString()方法将它们转化为字符串。每个键/值对由制表符进行分割...

Java Spark RDD读取GBK格式的文件

yeqingyun2012的博客

04-20

1179

1、由于jsc.textFile(path)默认读取UTF-8编码格式的文件，因此读取GBK格式的文件需要做一些特殊的处理。2、程序如下： SparkConf conf = new SparkConf() .setMaster("local[*]")//本地运行需要加这句话，若放在集群上注释掉即可 .setAppName("GBK READ")...

spark读取保存gbk的hadoop文件

aicodex的博客

12-28

962

最近工作遇到一个小问题。隔壁部门非要输出gbk格式的hadoop file。虽然这个要求很奇怪，但是仔细搞了搞发现也没有那么容易。翻了翻书，对implicit这个关键字理解的更深入了一些。编写了这么一个小工具类，可以实现sc.gbkTextFile(path)来读取gbk文件。RDD[String].saveAsGBKTextFile(path)来写入gbk文件。 import java.io...

SparkContext读取GBK格式的文件

学如逆水行舟，不进则退

10-18

534

SparkContext读取GBK格式的文件

Spark 处理中文乱码问题（UTF-8编码）

热门推荐

Amber_amber的专栏

12-03

3万+

问题场景要用spark处理一大堆微信日志数据，日志存放在HDFS上，是xml格式，里面有大量的中文。用scala + java实现了xml的处理逻辑，其中有一步是要获取xml中的一个title字段，中文。不管怎么抓取，最终得到的中文都会变成一堆“？？？？？”，乱码了。从xml中获取非中文字段，没有任何问题。也就是说，代码的逻辑是没什么问题的。

使用Spark MLlib进行垃圾短信识别实践

在程序运行过程中，作者在Python脚本【txt2csv.py】中遇到了GBK编码问题，通过修改读取文件的编码方式解决了问题。此外，还提到了另一个脚本【getfeatures.py】中与数据处理相关的部分。" 基于Spark MLlib库的垃圾...

Spark Scala 读取GBK文件的方法

无恋-zx的博客

08-08

2129

1. 在生产环境下，很多文件是GBK编码格式的，而SPARK 常用的textFile方法默认是写死了读UTF－8格式的文件，其他格式文件会显示乱码用如下代码实现读取GBK文件的方法 import org.apache.hadoop.io.{LongWritable, Text} import org.apache.hadoop.mapred.TextInputFormat import ...

Spark 自定义输出文件格式

jane3von的专栏

07-22

1298

MyTextOutputFormat.java import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.io.com.

hadoop和spark读取GBK编码乱码

u012063409的博客

07-27

2258

转自：http://www.cnblogs.com/teagnes/p/6112019.html 首先来看一下为什么会出现这个问题，下面是一个最简单的spark的wordcount程序，sc.textFile(filePath)方法从文本文件创建RDD，传入文件路径filePath，查看textFile方法，可以看到，实际上调用了TextInputformat类来解析文本文件，熟悉had

Spark读取日志文件集中文乱码解决方法

11-30

4040

Spark读取日志中文乱码解决方法问题展示 �� 一般来说,这个问题多出现于GBK与UTF-8编码互相转换时。众所周知，GBK编码是windows系统的编码格式,而UTF-8是linux系统的编码格式,而且Git等开源软件也都使用UTF-8编码,所以简单了解这种编码问题就是一件十分必要的事情。乱码切入 “��” “锟斤拷” "手持两把锟斤拷,口中疾呼烫烫烫,脚踏千朵屯屯屯,笑看万物锘锘锘” 先来段梗，娱乐一下，给出百科的解释，给各位科普一下这里先分析下乱码原因，因为spark没有自己读取文

hadoop读取GBK编码文件解决之道！

阿十爸爸的博客

06-05

825

package com.zuidaima.util; import java.io.UnsupportedEncodingException; /** * 转换字符串的编码 */ public class ChangeCharset { /** 7位ASCII字符，也叫作ISO646-US、Unicode字符集的基本拉丁块 */ public static final String

spark 中文编码处理

weixin_30709929的博客

06-09

948

日志的格式是GBK编码的，而hadoop上的编码是用UTF-8写死的，导致最终输出乱码。研究了下Java的编码问题。网上其实对spark输入文件是GBK编码有现成的解决方案，具体代码如下 import org.apache.hadoop.io.LongWritable import org.apache.hadoop.io.Text import org.apache....

Spark自定义输出文件

m0_64640191的博客

03-23

1809

本文将通过源码出发讲述spark如何调用hadoop几种OutputFormat,从而实现的文件输出，这里将讲述几种工作中常使用的算子，例如：saveAsTextFile(path) 、saveAsHadoopFile(path) saveAsTextFile(path)底层调用也是saveAsHadoopFile(path)，所以这里主要是讲述后者的源码；这一步也将带你认识到可以自定义的内容； 2.PairRDDFunctions 这里指定了OutputForm

spark读取、保存.csv文件、并指定编码格式

qq_56870570的博客

07-05

1万+

一、用spark实现读取csv文件核心代码： val spark = SparkSession .builder() .master("local[*]") .appName("app") .getOrCreate() //读取文件 //方式一： val srcDF = spark .r

解决spark中文乱码

u012893747的博客

06-02

1万+

由于spark在读取文件时的默认编码格式为utf-8，所以spark在处理gbk格式的文件时会出现乱码问题，以下代码则可以解决这一问题import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.hadoop.io.LongWritable import org.apache.hado

SparkWeb中文文件本地化与编码设置教程

根据提供的文件信息，我们...这一过程涉及到文件编码的理解、文件系统结构的识别以及对国际化和本地化概念的运用。在实际操作中，开发者需要确保新文件的正确性和兼容性，以保证Web应用的正常运行和用户体验的连贯性。