spark，以yarn-cluster模式提交作业，作业总是执行两次。

最新推荐文章于 2024-11-06 19:57:28 发布

原创最新推荐文章于 2024-11-06 19:57:28 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

spark 专栏收录该内容

5 篇文章

订阅专栏

本文解析了在YARN-Cluster模式下使用System.exit(0)导致的问题，详细阐述了这一操作如何引发程序错误并被集群误判为正常重启的情况，同时提供了代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原因在于System.exit(0)的不正常应用，导致在以yarn-cluster模式提交时。cluster模式不支持shell，所以当执行到System.exit(0)，程序开始报错，然后集群会按照yarn设定好的AM重启次数（在CDH的yarn配置板块中搜索application即可看到次数设置），重新运行，而且如果程序没有错的话，结果就没有错，这样就很难发现错误了。

object Application {
  //初始化sparkSession对象
  val conf = new SparkConf()
  val sparkSession = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate()

  def main(args: Array[String]): Unit = {
    //设置spark日志级别
    sparkSession.sparkContext.setLogLevel("WARN")

    sparkSession.close()
    System.exit(0)
  }

}