Spark-CheckPoint

最新推荐文章于 2022-10-31 17:40:06 发布

原创最新推荐文章于 2022-10-31 17:40:06 发布 · 239 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍如何在Spark应用程序中使用检查点(checkpoint)机制提高容错能力。通过具体实例——WordCount程序，展示了如何将中间结果持久化到硬盘，减少任务失败后的重算开销。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by MC on 2018/6/11.
  * CheckPoint是为RDD增加检查点而实现的容错机制
  *本文介绍的是给一个Spark的WordCount程序添加检查点
  */
object CheckPointTest {
  def WordCount(sc:SparkContext): String ={
    val file = sc.textFile("D://B/a.txt")
    //Spark的WordCount程序
    val rdd1 = file.flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _).groupBy(_._2).sortByKey()
    //将写好的spark运算程序的检查点持久化到硬盘
    rdd1.checkpoint()

    //把检查点持久化到硬盘，程序会再从头运行到检查点一回，所以将程序持久化到内存，设置检查点的时候就不用重新计算了
    rdd1.cache().checkpoint()
    val rdd2 = rdd1.collect().take(5).foreach(println(_))
    rdd2.toString()
  }
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local").setAppName("CheckPointTest")
    val sc = new SparkContext(conf)
    //设置检查点持久化到硬盘的硬盘路径
    sc.setCheckpointDir("D://B")
    var result: String = ""
    result=WordCount(sc)
    println(result)
    sc.stop
  }
}