SparkStreaming关于Driver进程的高可用问题

luoyunfan6

于 2019-11-16 21:31:19 发布

阅读量472

点赞数

CC 4.0 BY-SA版权

分类专栏： spark基础文章标签： spark driver

本文链接：https://blog.youkuaiyun.com/luoyunfan6/article/details/103102570

SparkStreaming程序在长时间运行中，Driver进程可能挂掉导致应用停止。本文探讨在cluster模式下实现Driver的高可用性，通过代码示例和集群操作，展示如何确保Driver进程在异常时能自动重启。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SparkStreaming程序一旦启动之后，除非我们手动停止，否则会一直处于运行的状态。Driver只是一个简单的进程，在程序运行过程中，有可能挂掉，此时SparkStreaming应用会停止运行。

所以实现Driver的HA就有必要（如果使用的Client模式就无法实现Driver HA ，这里针对的是cluster模式）。

准备一段代码

package spark.SparkStreaming
import org.apache.spark.SparkContext
import org.apache.spark.sql.SparkSession
import org.apache.spark.storage.StorageLevel
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.{Seconds, StreamingContext}
 
object DriverHADemo {
  def main(args: Array[String]): Unit = {
    //SparkSession
    val spark: SparkSession = SparkSession.builder()
      .appName(this.getClass.getSimpleName)
      .getOrCreate()
    val sc: SparkContext = spark.sparkContext
    
    //设置检查点
    val ck = "/spark-streaming/ck_ha"
    
    val ssc: StreamingContext = StreamingContext.getOrCreate(ck,()=>{
      val tmpSsc: StreamingContext = new StreamingContext(sc,Seconds(2))
      //设置检查点
      tmpSsc.checkpoint(ck)