同时提交多个spark-submit任务，只有第一个处于running，其他都处于waiting状态（已解决）

最新推荐文章于 2024-03-04 11:21:39 发布

卢子墨

最新推荐文章于 2024-03-04 11:21:39 发布

阅读量2.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark原理、实战、总结文章标签： spark

本文链接：https://blog.youkuaiyun.com/lukabruce/article/details/103659816

Spark原理、实战、总结专栏收录该内容

56 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

当尝试并行提交多个Spark任务时，除了第一个任务处于running状态，其余任务显示为waiting。解决方法是通过maven完成clean、install、package流程，打包jar包并使用spark-submit提交。确保每个应用分配的核数不超过代码中设置的最大值。如果仍有任务等待，检查集群总核数是否小于所有应用设置核数之和。

`问题描述：同时提交多个spark-submit任务，只有第一个处于running，其他都处于waiting状态`

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

解决方案：

/** 构建spark运行环境  */
val spark = SparkSession.builder()
  .appName("Application_Name")
  .config("spark.sql.warehouse.dir", Po_Utils.getPro("HIVE_HDFS_PATH"))
  .config("hive.exec.dyna

了解本专栏