Spark运行时遇到的错误 scheduler.TaskSchedulerImpl: Initial job has not accepted any resources

qq_34072169

于 2020-02-20 16:29:56 发布

阅读量1.6k

点赞数

分类专栏： Spark 大数据文章标签： spark 内存管理

本文链接：https://blog.youkuaiyun.com/qq_34072169/article/details/104412677

版权

该博客讨论了在Spark运行时遇到的'scheduler.TaskSchedulerImpl: Initial job has not accepted any resources'错误，可能的原因包括主机主机名和IP配置不正确，以及内存或核心数不足。解决方案包括检查/etc/hosts文件的配置，确保主机名与IP匹配，以及在Spark配置中设置适当的SPARK_EXECUTOR_MEMORY，例如设置为512M，以解决内存不足的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

错误提示：
scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your clus
ter UI to ensure that workers are registered and have sufficient resources
调度器：初始化Job时没有足够的资源，检查你的ClusterUI确保Worker节点已经注册并且有足够的资源

发生此错误的原因可能有两个：

1. 主机主机名和ip是否配置正确

先查看/etc/hosts文件配置是否正确
vi /etc/hosts

查看是否主机名和IP号一致

2.内存或者Core数不够。

由于我之前没有设置Spark_EXECUTOR_MEMORY,这个值默认值为1024M，所以内存不够，无法成功运行。可以在Spark-webUI上可以看到

方法：

cd $SPARK_HOME/conf

vi spark-env.sh

添加 export SPARK_EXECUTOR_MEMORY=512M

错误提示信息：

sc.textFile("hdfs://node001:8020/spark/data/test.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect()
[Stage 0:>

最低0.47元/天解锁文章