Spark深入解析（十六）：SparkCore之数据读取与保存

本文链接：https://blog.youkuaiyun.com/wzc8961661/article/details/105939288

本文详细介绍了SparkCore中如何进行数据读取与保存，包括文件类数据如Text、JSON和SequenceFile，以及文件系统类数据如HDFS、MySQL数据库和HBase数据库的连接操作。针对不同数据类型，提供了具体的读取和保存方法，如Spark对Hadoop的兼容性，以及使用JdbcRDD与HBase的交互。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文件类数据读取与保存

Text文件

1）数据读取:textFile(String)
scala> val hdfsFile = sc.textFile("hdfs://hadoop102:9000/fruit.txt")
hdfsFile: org.apache.spark.rdd.RDD[String] = hdfs://hadoop102:9000/fruit.txt MapPartitionsRDD[21] at textFile at <console>:24

2）数据保存: saveAsTextFile(String)
scala> hdfsFile.saveAsTextFile("/fruitOut")

在这里插入图片描述

Json文件

如果JSON文件中每一行就是一个JSON记录，那么可以通过将JSON文件当做文本文件来读取，然后利用相关的JSON库对每一条数据进行JSON解析。
注意：使用RDD读取JSON文件处理很复杂，同时SparkSQL集成了很好的处理JSON文件的方式，所以应用中多是采用SparkSQL处理JSON文件。

（1）导入解析json所需的包
scala> import scala.util.parsing.json.JSON

（2）上传json文件到HDFS
[atguigu@hadoop102 spark]$ hadoop fs -put ./examples/src/main/resources/people.json /

（3）读取文件
scala> val json = sc.textFile("/people.json")
json: org.apache.spark.rdd.RDD[String] = /people.json MapPartitionsRDD[8] at textFile at <console>:24

（4）解析json数据
scala> val result  = json.map(JSON.parseFull)
result: org.apache.spark.rdd.RDD[Option[Any]] = MapPartitionsRDD[10] at map at <console>:27

（5）打印
scala> result.collect
res11: Array[Option[Any]] = Array(Some(Map(name -> Michael)), Some(Map(name -> Andy, age -> 30.0)), Some(Map(name -> Justin, age -> 19.0)))

Sequence文件

SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。Spark 有专门用来读取 SequenceFile 的接口。在 SparkContext 中，可以调用 sequenceFile[ keyClass, valueClass](path)。
注意：SequenceFile文件只针对PairRDD

（1）创建一个RDD
scala> val rdd = sc.parallelize(Array((1,2),(3,4),(5,6)))
rdd: org.apache.spark.rdd.RDD[(Int, Int)] = ParallelCollectionRDD[13] at parallelize at <console>:24

（2）将RDD保存为Sequence文件
scala> rdd.saveAsSequenceFile("file:///opt/module/spark/seqFile")

（3）查看该文件
[atguigu@hadoop102 seqFile]$ pwd
/opt/module/spark/seqFile

[<