Spark基础【RDD持久化、分区器、文件保存读取】

最新推荐文章于 2023-03-13 19:43:04 发布

OneTenTwo76

最新推荐文章于 2023-03-13 19:43:04 发布

阅读量488

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： spark java 大数据

本文链接：https://blog.youkuaiyun.com/weixin_43923463/article/details/126334224

本文深入探讨Spark中的RDD持久化，包括RDD的Cache缓存、存储级别和CheckPoint检查点，强调了它们在容错和性能优化中的作用。接着，介绍了RDD的分区器，如Hash分区和Range分区，以及自定义分区。最后，讲解了RDD如何读取和保存文件，涉及不同文件格式和文件系统。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一 RDD持久化

1 RDD Cache缓存

（1）为什么使用Cache

RDD通过Cache或者Persist方法将前面的计算结果缓存，默认情况下会把数据以缓存在JVM的堆内存中。但是并不是这两个方法被调用时立即缓存，而是触发后面的action算子时，该RDD将会被缓存在计算节点的内存中，并供后面重用

如现有两个需求：

File – textFile – flatMap – map – reduceByKey
File – textFile – flatMap – map – group

因为前四个阶段相同，能否直接在第一个需求的map后面进行更改？

def main(args: Array[String]): Unit = {
   
   

  val conf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
  val sc = new SparkContext(conf)

  val lines: RDD[String] = sc.textFile("data/word.txt")
  val words: RDD[String] = lines.flatMap(_.split(" "))
  val wordToOne: RDD[(String, Int)] = words.map(
    t => {
   
   
      println("**************")
      (t,1)
    }
  )
  val wordCount: RDD[(String, Int)] = wordToOne.reduceByKey(_ + _)
  wordCount.collect().foreach(println)

  println("----------------------")
  val rdd2: RDD[(String, Iterable[(String, Int)])] = wordToOne.groupBy(_._1)
  rdd2.collect().foreach(println)

  sc.stop()
}

执行结果

**************
**************
**************
**************
**************
**************
(scala,1)
(hello,3)
(world,1)
(spark,1)
----------------------
**************
**************
**************
**************
**************
**************
(scala,CompactBuffer((scala,1)))
(hello,CompactBuffer((hello,1), (hello,1), (hello,