16.Spark Streaming源码解读之数据清理机制解析

最新推荐文章于 2024-02-19 10:38:52 发布

听风的蜗牛

最新推荐文章于 2024-02-19 10:38:52 发布

阅读量2.7k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： spark streaming 进阶文章标签： spark spark Streaming 源码解析 Job DStream

本文链接：https://blog.youkuaiyun.com/zhouzx2010/article/details/51801262

原创文章，转载请注明:转载自听风居士博客(http://blog.youkuaiyun.com/zhouzx2010)

本期内容：

一、Spark Streaming 数据清理总览

二、Spark Streaming 数据清理过程详解

三、Spark Streaming 数据清理的触发机制

Spark Streaming不像普通Spark 的应用程序，普通Spark程序运行完成后,中间数据会随着SparkContext的关闭而被销毁,而Spark Streaming一直在运行，不断计算，每一秒中在不断运行都会产生大量的中间数据，所以需要对对象及元数据需要定期清理。每个batch duration运行时不断触发job后需要清理rdd和元数据。下面我们就结合源码详细解析一下Spark Streaming程序的数据清理机制。

一、数据清理总览

Spark Streaming 运行过程中,随着时间不断产生Job,当job运行结束后,需要清理相应的数据(RDD,元数据信息,Checkpoint数据),Job由JobGenerator定时产生,数据的清理也是有JobGenerator负责。

JobGenerator负责数据清理控制的代码位于一个消息循环体eventLoop中：

  
  
  
   
   
   
    
    
        eventLoop = new EventLoop[JobGeneratorEvent]("JobGenerator") {
       
       
   
   
   
   
   
   
    
    
          override protected def onReceive(event: JobGeneratorEvent): Unit = processEvent(event)
   
   
   
   
   
   
    
    
     
   
   
   
   
   
   
    
    
          override protected def onError(e: Throwable): Unit = {
       
       
   
   
   
   
   
   
    
    
            jobScheduler.reportError("Error in job generator", e)
   
   
   
   
   
   
    
    
          }
   
   
   
   
   
   
    
    
        }
   
   
   
   
   
   
    
    
        eventLoop.start()

 
 其中的核心逻辑位于processEvent(event 
 )函数中: 

 
       /** Processes all events */
    
       private def processEvent(event: JobGeneratorEvent) {
        
         logDebug("Got event " + event)
    
         event match {
        
           case GenerateJobs(time) => generateJobs(time)
    
           case ClearMetadata(time) => clearMetadata(time)
    
           case DoCheckpoint(time, clearCheckpointDataLater) =>
    
             doCheckpoint(time, clearCheckpointDataLater)
    
           case ClearCheckpointData(time) => clearCheckpointData(time)
    
         }
    
       }

 
 可以看到当JobGenerator收到ClearMetadata(time) 和 ClearCheckpointData(time)是会进行相应的数据清理,其中  
 clearMetadata 
 ( 
 time 
 ) 
 会清理RDD数据和一些元数据信息, C 
 learCheckpointData 
 ( 
 time 
 ) 
 会清理Checkpoint数据。 

 
 二、数据清理过程详解 

 
     2.1 ClearMetaData 过程详解

 
 首先看一下clearMetaData函数的处理逻辑： 

 
       /** Clear DStream metadata for the given `time`. */
    
       private def clearMetadata(time: Time) {
        
         ssc.graph.clearMetadata(time)
    
         // If checkpointing is enabled, then checkpoint,
    
         // else mark batch to be fully processed
    
         if (shouldCheckpoint) {
        
           eventLoop.post(DoCheckpoint(time, clearCheckpointDataLater = true))
    
         } else {
        
           // If checkpointing is not enabled, then delete metadata information about
    
           // received blocks (block data not saved in any case). Otherwise, wait for
    
           // checkpointing of this batch to complete.
    
           val maxRememberDuration = graph.getMaxInputStreamRememberDuration()
    
           jobScheduler.receiverTracker.cleanupOldBlocksAndBatches(time - maxRememberDuration)
    
           jobScheduler.inputInfoTracker.cleanup(time - maxRememberDuration)
    
           markBatchFullyProcessed(time)
    
         }
    
       }

 
 首先调用了DStreamGraph的clearMetadata方法: 

 
       def clearMetadata(time: Time) {
        
         logDebug("Clearing metadata for time " + time)
    
         this

最低0.47元/天解锁文章

200万优质内容无限畅学