spark 2.1 SparkContext postEnvironmentUpdate

最新推荐文章于 2025-02-10 12:09:16 发布

houzhizhen

最新推荐文章于 2025-02-10 12:09:16 发布

阅读量617

点赞数

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/houzhizhen/article/details/71600867

spark 专栏收录该内容

158 篇文章

订阅专栏

本文介绍了一个Spark应用程序中用于发布环境更新事件的私有方法。该方法检查任务调度器是否存在，并收集有关调度模式、已添加的JAR包路径及文件路径等详细信息。如果任务调度器存在，则将这些信息封装为SparkListenerEnvironmentUpdate对象并发布到监听总线上。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

/** Post the environment update event once the task scheduler is ready */
  private def postEnvironmentUpdate() {
    if (taskScheduler != null) {
      val schedulingMode = getSchedulingMode.toString
      val addedJarPaths = addedJars.keys.toSeq
      val addedFilePaths = addedFiles.keys.toSeq
      val environmentDetails = SparkEnv.environmentDetails(conf, schedulingMode, addedJarPaths,
        addedFilePaths)
      val environmentUpdate = SparkListenerEnvironmentUpdate(environmentDetails)
      listenerBus.post(environmentUpdate)
    }
  }