yarn平台的内存分配和设置

最新推荐文章于 2024-05-13 11:06:32 发布

原创

最新推荐文章于 2024-05-13 11:06:32 发布 · 1.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#yarn #mapreduce #内存分配

这篇博客探讨了在Hive中使用MapReduce时遇到的内存溢出问题。作者解释了物理内存与虚拟内存的区别，并提供了调整YARN平台参数以增大虚拟内存的建议，包括设置`yarn.nodemanager.vmem-pmem-ratio`和`yarn.scheduler.maximum-allocation-mb`等参数。同时，还提醒注意ResourceManager对Container内存和CPU的分配限制，以及超限可能导致的错误和解决方案。

写这个博客主要是本人在hive中使用mapreduce报出以下错误

Diagnostic Messages for this Task:
 Container[pid=1701,containerID=container_1502327755307_0001_01_000005] is running beyond virtual memory limits.
 Current usage: 133.2 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container.

由报出的错误可知：虚拟内存溢出
首先什么是物理内存？什么是虚拟内存？
个人的理解是：物理内存就是实际存在的内存，在实际电脑上即内存条的大小，对于单个任务来说即是分配个这个任务的内存空间；虚拟内存即进程运行时所有内存空间的总和，并且可能有一部分不在物理内存中，比如你的内存条是256M，你的程序却要创建一个2G的数据区，那么不是所有数据都能一起加载到内存（物理内存）中，势必有一部分数据要放到其他介质中（比如硬盘），待进程需要访问那部分数据时，在通过调度进入物理内存。有种说法也叫虚拟内存为内存交换区

解决这个问题，即调大虚拟内存

hive > set mapreduce.map.memory.mb;
mapreduce.map.memory.mb=2048
hive > set  mapreduce.reduce.memory.mb;
mapreduce.reduce.memory.mb=2048
hive > set yarn.nodemanager.vmem-pmem-ratio;
yarn.nodemanager.vmem-pmem-ratio=3

参考yarn平台参数设置点击此处
这样map运行时的虚拟内存大小为 2048*3