Hadoop YARN中内存的设置

最新推荐文章于 2022-10-11 22:03:36 发布

竹信之佳

最新推荐文章于 2022-10-11 22:03:36 发布

阅读量2.4k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据技术文章标签： hadoop yarn 内存

本文链接：https://blog.youkuaiyun.com/linhanyichen/article/details/54909339

在Spark 2.1部署到YARN后，执行任务时遇到被Kill的情况。通过查阅资料发现可能由Java 8与Hadoop 2.7.3的YARN兼容性问题引起内存溢出。解决方案是在`yarn-site.xml`中增加配置属性，禁用`yarn.nodemanager.pmem-check-enabled`和`yarn.nodemanager.vmem-check-enabled`的内存检查。调整后，Spark能正常启动且之前的异常退出问题得到解决。这两个参数默认为true，若任务使用内存超限会被直接杀死。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前两天将Spark(2.1)部署到YARN上之后，执行一个简单的分词程序，发现执行完Action 之后，Spark任务直接被Kill掉，然后退了出来。

查了资料，没有找到是什么原因。今天重新整理Ubuntu 14 x64环境，配置完YARN后，将Spark以--master yarn 的模式运行，发现报错：

java.lang.IllegalStateException: Spark context stopped while waiting for backend
    at org.apache.spark.scheduler.TaskSchedulerImpl.waitBackendReady(TaskSchedulerImpl.scala:614)
    at org.apache.spark.scheduler.TaskSchedulerImpl.postStartHook(TaskSchedulerImpl.scala:169)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:567)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2313)
......

然后百度了下，有人说是因为Java 8 与 Hadoop 2.7.3 的YARN存在某些不兼容造成内存溢出，导致程序的异常终止，其解决方案是修改Hadoop下的yarn-si