在使用HiBench进行Spark性能测试时遇到错误：'Initial job has not accepted any resources'。问题根源可能是Spark配置不匹配或资源不足。检查发现，`spark.executor.memory`和`spark.driver.memory`在HiBench配置中设为4G，而`SPARK_WORKER_MEMORY`设为2G，导致executor内存需求超出worker可用资源。修改`SPARK_WORKER_MEMORY`为4g或更大，解决了问题，使测试能够顺利执行。
最近使用HiBench基准测试工具测试Spark性能。
但每当启动测试过程后不救，HiBench就提示错误：
WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
无论是使用哪个HiBench workload，都是这样，测试无法进行。
网上一通查之后，说一般是两个原因：
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
