安装CDH后启动spark-shell报错解决方案

最新推荐文章于 2024-03-24 23:13:58 发布

jaysen1005

最新推荐文章于 2024-03-24 23:13:58 发布

阅读量2.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： CDHErratum 文章标签： CDH spark initializing SparkContext

本文链接：https://blog.youkuaiyun.com/weixin_36636708/article/details/88030325

在安装了CDH和Coudera Manager后，启动spark-shell时遇到因YARN内存不足导致的错误。解决方法是通过Cloudera Manager增加YARN的`yarn.scheduler.maximum-allocation-mb`配置，将内存限制增大。此外，还需要注意启动Spark的用户权限问题，确保使用hdfs用户启动以避免权限错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

描述

安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等。利用远程客户端在安装有spark的节点上，通过spark-shell启动spark，满怀期待的启动spark，but，来了个晴天霹雳，报错了，报错了！错误信息如下：

19/02/28 13:45:06 ERROR spark.SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.
    at org.apache.spark.deploy.yarn.Client.verifyClusterResources(Client.scala:281)
    at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:140)
    at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:57)
    at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:158)
    （后面还有好多信息，在此省略）

仔细查看错误信息之后发现，原来是yarn配置的内存不够，spark启动需要1024+384 MB的内存，但是我的yarn配置仅有1024 MB，不