yarn平台的内存分配和设置

最新推荐文章于 2024-05-13 11:06:32 发布
原创 最新推荐文章于 2024-05-13 11:06:32 发布 · 1.8k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#yarn #mapreduce #内存分配

这篇博客探讨了在Hive中使用MapReduce时遇到的内存溢出问题。作者解释了物理内存与虚拟内存的区别，并提供了调整YARN平台参数以增大虚拟内存的建议，包括设置`yarn.nodemanager.vmem-pmem-ratio`和`yarn.scheduler.maximum-allocation-mb`等参数。同时，还提醒注意ResourceManager对Container内存和CPU的分配限制，以及超限可能导致的错误和解决方案。

写这个博客主要是本人在hive中使用mapreduce报出以下错误

Diagnostic Messages for this Task:
 Container[pid=1701,containerID=container_1502327755307_0001_01_000005] is running beyond virtual memory limits.
 Current usage: 133.2 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container.

由报出的错误可知：虚拟内存溢出
首先什么是物理内存？什么是虚拟内存？
个人的理解是：物理内存就是实际存在的内存，在实际电脑上即内存条的大小，对于单个任务来说即是分配个这个任务的内存空间；虚拟内存即进程运行时所有内存空间的总和，并且可能有一部分不在物理内存中，比如你的内存条是256M，你的程序却要创建一个2G的数据区，那么不是所有数据都能一起加载到内存（物理内存）中，势必有一部分数据要放到其他介质中（比如硬盘），待进程需要访问那部分数据时，在通过调度进入物理内存。有种说法也叫虚拟内存为内存交换区

解决这个问题，即调大虚拟内存

hive > set mapreduce.map.memory.mb;
mapreduce.map.memory.mb=2048
hive > set  mapreduce.reduce.memory.mb;
mapreduce.reduce.memory.mb=2048
hive > set yarn.nodemanager.vmem-pmem-ratio;
yarn.nodemanager.vmem-pmem-ratio=3

参考yarn平台参数设置点击此处
这样map运行时的虚拟内存大小为 2048*3

<
最低0.47元/天 解锁文章
Yarn 内存分配管理机制及相关参数配置
九师兄
05-09 1107
为了易于管理资源和调度资源，Hadoop YARN内置了资源规整化算法，它规定了最小可申请资源量、最大可申请资源量和资源规整化因子，如果应用程序申请的资源量小于最小可申请资源量，则YARN会将其大小改为最小可申请量，也就是说，应用程序获得资源不会小于自己申请的资源，但也不一定相等；如果应用程序申请的资源量大于最大可申请资源量，则会抛出异常，无法申请成功；
spark+yarn调整计算任务的内存占用
无聊小刚的博客
11-17 4545
调整的背景 公司正式环境有一个小小的spark+hadoop集群，yarn的可用内存只有小小的40G，五个节点，每个节点8G内存，因此需要对每个上线的计算任务占用的资源都要精打细算。 写了两个sparkstreaming的任务，发现其中一个任务用了三个container,每个container占用了2G的内存，另外一个任务用了四个container，每个container占用了2G的内存，这样
yarn内存配置指南
07-14 5183
yarn中需要配置很多内存，比如
Yarn 的虚拟内存是什么意思
h952520296的博客
02-04 1642
Hadoop YARN同时支持内存和CPU两种资源的调度,默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置。 目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。 内存资.
在yarn启动spark报错2.2 GB of 2.1 GB virtual memory used. Killing container.
Sicilly的博客
04-30 3115
在网上查到该报错说是设置的虚拟内存不够引起的。 报错 Current usage: 360.4 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container. 解释 意思是说container使用的虚拟内存超过了设置的2.1G 那么，问题来了，这个虚拟内存的数量从那儿来的呢？ 是从yarn-site.xml中配置计算来的，yarn.scheduler.minimum-allocation-
hadoop 2.6.5 yarn的虚拟内存
ddsthinkyou123的专栏
04-26 267
今天跑了一个mr，报错了 Container [pid=23093,containerID=container_1619340363070_0046_01_000008] is running beyond virtual memory limits. Current usage: 196.9 MB of 1 GB physical memory used; 2.1 GB of 2.1 GB virtual memory used. Killing container. 感觉应该是虚拟内存，不够用了
yarn调优之内存分配
chenguangchun1993的博客
01-15 1808
前几天刚刚装了一个HDP集群，在添加spark2服务以后，设置的3个thriftserver总是有一个报错，删除了一个thriftserver以后可以正常启动，原以为这样就能正常运行了，然而，并没有。 昨天由于需要，运行了一个MR任务，奇怪的是任务总是被阻塞起（忽略红线）。 可以看到，上面有两个thriftserver正在运行。于是乎，我手动停止了一个thriftserver。 MR
Yarn 内存分配管理机制及相关参数配置.
05-17
本篇将深入探讨YARN内存分配的管理机制以及相关参数配置。 首先，YARN内存管理涉及到三个主要角色：ResourceManager（RM）、ApplicationMaster（AM）和NodeManager（NM）。 1. ResourceManager（RM）：RM是全局...
23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化
05-29
优化YARN和MapReduce的内存分配时，需要考虑以下几点： - 确保配置的内存大小与实际硬件匹配，避免资源浪费。 - 根据工作负载动态调整资源配置，例如，处理大数据量的任务可能需要更多的内存和CPU。 - 监控集群性能...
Hadoop集群中YARN调度MapReduce内存与CPU分配计算及优化
最新发布
06-30
yarn.scheduler.minimum-allocation-mb：设置容器的最小内存分配。 yarn.scheduler.maximum-allocation-mb：设置容器的最大内存分配。 yarn.app.mapreduce.am.resource.mb：作业应用程序管理器（AM）的内存需求。 ...
yarn虚拟cpu和虚拟内存
qq_32323239的博客
10-15 1051
虚拟cpu 虚拟的cpu代码并发数，如果一个container拥有2个vcpu，那么该container就可以真正的在同一时间运行两个线程，而不是靠切时间片而达到的逻辑并发。所以一般虚拟的cpu需要和物理cpu的个数保持一致 yarn的计算单元称为YCUs，其实就是把1个cpu分为n份，通常情况控制在1:1000左右，也就是说一个一核cpu可以被yarn分为1000个左右的YCUs，并在使用yarn的时候，可以配置使用多少YCUs。例如500个YCUs，那么其实得到的大概是1/2个核的cpu。 .
Spark提交任务到yarn 报错提示虚拟内存不足解决办法
qq_32118757的博客
01-27 1173
Spark提交任务到yarn 报错提示虚拟内存不足解决办法
yarn物理内存虚拟内存问题
孙大迪迪的博客
08-25 5049
问题描述： xxx is running beyond physical memory limits. Current usage: 5.8 GB of 5 GB physical memory used; 5.7 GB of 10.5 GB virtual memory used. Killing container 5G为yarn.scheduler.minimum-allocation-mb的值或者它的整数倍，当yarn.scheduler.minimum-allocation-mb大于ma
hadoop的yarn容器、内存、vcore设计
xwcj3的博客
12-14 3457
一、container容器 容器 虚拟化的 维度 memory+vcore 运行task任务 生产如何调优Container参数？ 假设128G 16物理core 1.1装完CentOS，消耗内存1G 1.2系统预览15%-20%内存(包含1.1)， 以防全部使用导致系统夯住 和 oom机制事件， 或者给未来部署组件预览点空间 128*20%=25.6G ==26G 1.3假设只有DN NM节点，...
EMR 6.2 hive启动session yarn会话占用内存过高
Clarke
01-18 299
在EMR6.2 中 tez默认一个会话内存占用为6144MB，占用过高，同步以下修改恢复为默认设置。 sudo vi /etc/hive/conf/hive-site.xml 加入 <property> <name>tez.am.resource.memory.mb</name> <value>1024</value> </property> ...
Spark 提交yarn 虚拟内存不足解决方法
~
12-01 3713
提交任务时候，任务状态从UNDEFINED变成FAILED，在Yarn WEBUI端任务对应Final Status，但是Status是FINISHED <-- 取消物理内存检查 --> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> <-- 取消虚拟内存检查 --
一次Flink on yarn 任务JobManager内存超用问题排查
weixin_41461158的博客
05-13 2683
有道实时平台的所有flink任务运行在yarn集群上，前段时间，为提升和改善有道flink任务运行稳定性，对实时yarn集群进行了迁移（将实时yarn nodemanger机器进行独立，并将所有实时任务迁移至新机器上）。迁移后，发现约200个任务频繁发生JobManager重试，几乎每30min出现一次重试，严重影响任务稳定性。yarn看到flink任务的application_id在不断attempt重试，几乎每30min重试一次。点击失败的一次“Attempt ID”，查看失败原因。
Flink yarn session如何设置taskmanager jvm分配内存大小
03-21
<think>好的，用户现在想了解如何在Fink的YARN Session模式下设置TaskManager的JVM内存大小。首先，我需要回想一下之前用户的问题和我的回答。之前用户询问了JobManager和TaskManager日志的区别，现在转向了资源配置，尤其是内存设置。这说明用户可能正在实际部署Flink应用，遇到了性能调优的问题，或者正在准备环境配置。 接下来，我需要确认Flink在YARN Session模式下的配置方式。YARN作为资源管理框架，Flink作为其上的应用，需要遵循YARN的资源管理机制。YARN负责分配容器，每个TaskManager对应一个容器，容器的资源包括内存和CPU。Flink的配置参数需要与YARN的资源配置协调，否则可能出现资源不足或浪费的情况。 用户的问题集中在TaskManager的JVM内存设置。这里有几个关键点：首先，Flink的内存模型包括总内存、JVM堆内存、堆外内存等部分。其次，在YARN模式下，需要同时设置Flink的参数和YARN的资源请求参数，因为YARN会根据请求分配容器资源。如果只设置Flink参数而忽略YARN的配置，可能会导致容器内存不足，从而引发OOM错误。 我需要拆解配置步骤。首先，确定TaskManager的总内存，这包括JVM堆内存、堆外内存、网络缓冲、框架堆外等部分。然后，通过Flink的配置文件或启动参数设置这些值。同时，YARN的容器内存需要至少等于TaskManager的总内存，否则YARN会杀死超用内存的容器。 常见的参数包括taskmanager.memory.process.size（或taskmanager.memory.flink.size，取决于版本），这个参数决定了Flink认为TaskManager需要的内存总量。同时，YARN的参数yarn.containers.vcores和yarn.container.memory需要对应设置，确保YARN分配的容器足够大。 另外，需要注意不同Flink版本之间的差异。例如，1.10之后的版本内存配置有所变化，引入了更细粒度的内存控制。用户可能使用的是较新版本，因此需要确认参数的正确性。同时，堆外内存的设置对于某些应用（如大量网络传输或使用原生内存的组件）非常重要，需要合理分配，避免OOM。 用户可能的误区是只设置JVM堆内存，而忽略了总内存和其他部分，导致YARN容器内存不足。因此，在回答中需要强调同时配置Flink和YARN参数的重要性，并提供示例配置，帮助用户理解各部分的关系。此外，常见问题如内存分配不足、参数冲突等也需要提及，帮助用户避免典型错误。 最后，应该总结步骤，强调验证方法，比如检查YARN的Web UI确认容器资源，或者查看日志中的内存分配信息，确保配置生效。这样用户可以实际操作并验证他们的配置是否正确。</think>在 Flink 的 **YARN Session 模式**下，设置 TaskManager 的 JVM 内存分配大小需要通过 Flink 的配置参数和 YARN 的资源请求参数协同完成。以下是具体配置方法和原理说明： --- ### 一、核心配置参数 Flink 的 TaskManager 内存由多个部分组成，需通过以下参数定义： | **参数名** | **作用** | |------------------------------------|-------------------------------------------------------------------------| | `taskmanager.memory.process.size` | **总内存**（JVM进程总内存，包括堆内外内存、网络缓冲、框架内存等，必须与 YARN 容器内存一致） | | `taskmanager.memory.jvm-metaspace` | JVM Metaspace 内存大小（默认 256MB） | | `taskmanager.memory.jvm-overhead` | JVM 开销内存（用于线程栈、本地内存等，默认总内存的 10%） | --- ### 二、配置步骤（YARN Session 模式） #### 1. **设置 Flink 配置文件（`flink-conf.yaml`）** 在 `flink-conf.yaml` 中直接定义 TaskManager 的内存参数： ```yaml # 设置 TaskManager 总内存（必须 <= YARN容器内存） taskmanager.memory.process.size: 4096m # 4GB # 可选：调整堆内存（默认总内存的约40%~50%） taskmanager.memory.jvm.heap.size: 2048m # 2GB # 可选：调整堆外内存（Direct Memory，用于网络缓冲等） taskmanager.memory.managed.fraction: 0.3 # 托管内存占比（默认0.4） ``` #### 2. **启动 YARN Session 时指定资源** 在启动命令中通过 `-D` 参数覆盖配置，并指定 YARN 容器的资源： ```bash ./bin/yarn-session.sh \ -D taskmanager.memory.process.size=4096m \ -D yarn.containers.vcores=2 \ # 每个容器的vCPU数量 -D yarn.container.memory=4096 \ # 每个容器的总内存（单位MB，必须 >= taskmanager.memory.process.size） -n 4 # 启动的TaskManager数量 ``` --- ### 三、内存分配逻辑 #### 1. **内存组成公式** Flink 会按以下规则分配内存： $$ \text{总内存} = \text{堆内存} + \text{堆外内存} + \text{网络缓冲} + \text{Metaspace} + \text{JVM开销} $$ #### 2. **参数优先级** - 如果显式指定 `taskmanager.memory.jvm.heap.size`，堆内存按指定值分配。 - 否则，堆内存按总内存的默认比例计算（例如：总内存的 40%）。 --- ### 四、验证配置是否生效 #### 1. **通过 YARN Web UI 检查** 访问 YARN ResourceManager Web UI（如 `http://<yarn-rm-host>:8088`），查看容器分配的内存是否与配置一致。 #### 2. **查看 TaskManager 日志** 在 TaskManager 启动日志中搜索以下内容： ```log INFO org.apache.flink.runtime.taskexecutor.TaskManagerRunner - Starting TaskManager with ResourceID: {...} JVM Memory Settings: - Total Process Memory: 4096mb - JVM Heap Size: 2048mb - Managed Memory Size: 1228mb ... ``` --- ### 五、常见问题与调优建议 1. **容器被 YARN 杀死（OOM）** - 原因：`yarn.container.memory` < `taskmanager.memory.process.size`。 - 解决：确保 YARN 容器内存 >= Flink 配置的总内存。 2. **堆外内存不足（`OutOfMemoryError: Direct buffer memory`）** - 原因：网络缓冲或 RocksDB 使用过多 Direct Memory。 - 解决：增大 `taskmanager.memory.process.size` 并调整 `taskmanager.memory.managed.fraction`。 3. **Metaspace 溢出** - 原因：动态加载类过多（如频繁部署作业）。 - 解决：显式设置 `taskmanager.memory.jvm-metaspace.size=512m`。 --- ### 六、完整配置示例 ```yaml # flink-conf.yaml taskmanager.memory.process.size: 8192m # 总内存 8GB taskmanager.memory.jvm.heap.size: 4096m # 堆内存 4GB taskmanager.memory.managed.fraction: 0.4 # 托管内存占40% taskmanager.memory.jvm-metaspace.size: 512m taskmanager.memory.jvm-overhead.min: 512m ``` 启动命令： ```bash ./bin/yarn-session.sh \ -D yarn.container.memory=8192 \ -D yarn.containers.vcores=4 \ -n 6 ``` --- ### 总结 - **核心原则**：确保 YARN 容器内存 >= Flink TaskManager 配置的总内存。 - **调优重点**：根据作业特性（如批处理/流处理、状态后端类型）平衡堆内存与堆外内存。 - **验证手段**：通过 YARN UI 和 TaskManager 日志双重确认配置生效。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值