Yarn-之Container的虚拟内存检查配置

最新推荐文章于 2023-06-07 18:19:18 发布
原创 最新推荐文章于 2023-06-07 18:19:18 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何通过配置YARN的两个参数'yarn.nodemanager.vmem-check-enabled'和'yarn.nodemanager.vmem-pmem-ratio'来解决Container启动失败的问题，特别是当遇到虚拟内存超限的情况时。

Yarn-之Container的虚拟内存检查配置

<!--如果出现container启动不了，说是虚拟内存超限，那么请配置以下配置-->
 <property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
最低0.47元/天 解锁文章
Yarn 的虚拟内存是什么意思
h952520296的博客
02-04 1638
Hadoop YARN同时支持内存和CPU两种资源的调度,默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置。 目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。 内存资.
YARN 内存参数终极详解
美伊小公主的超级奶爸的专栏
03-02 1万+
很多朋友在刚开始搭建和使用 YARN 集群的时候，很容易就被纷繁复杂的配置参数搞晕了：参数名称相近、新老命名掺杂、文档说明模糊 。特别是那几个关于内存的配置参数，即使看好几遍文档也不能完全弄懂含义不说，配置时一不小心就会张冠李戴，犯错误。 如果你同样遇到了上面的问题，没有关系，在这篇文章中，我就为大家梳理一下 YARN 的几个不易理解的内存配置参数，并结合源码阐述它们的作用和原理
Yarn安装及配置一件启停
weixin_45012397的博客
05-14 1414
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。资源管理系统:集群的硬件资源,和程序运行相关,比如内存,CPU等调度平台:多个程序同时申请计算资源如何分配，调度的规则（算法）。通用∶不仅仅支持MapReduce程序，理论上支持各种计算程序。
Yarn中container、mr内存的配置，控制container个数
qq_32445015的博客
02-10 2249
最近项目在用kylin，在搭建开发环境和测试环境后，然后在kylin上建cube，kylin建cube实际就是调用集群的MR跑任务(也可以调用spark作为引擎)，在数据量小或者维度(kylin里面的一个概念)少的时候没问题，后来数据量大或维度多了，就经常出现OOM的问题。
Yarn参数配置Container优化
weixin_44059731的博客
12-17 2386
container: 内存 和 cpu的虚拟概念 memory:8192, vCores:8 资源例如120G，20%预留给系统 内存: yarn.nodemanager.resource.memory-mb 96G (CDH配置注意这个参数是在编辑每一台参数96/6=16G） yarn.scheduler.minimum-allocation-mb 1G 极限情况下 96个container yarn.scheduler.maximum-allocation-mb 96G 极限情况下 1个con
Yarn【关于配置yarn-site.xml的注意事项】
功不唐捐，玉汝于成
06-07 2807
yarn-site.xml的配置、错误日志的查看以及解决
Hadoop 3.x（Yarn）----【Yarn 案例实操】
是微风，是晚霞，是无可替代
10-19 476
需求：从 1G 数据中，统计每个单词出现次数。服务器 3 台，每台配置 4G 内存，4 核CPU，4 线程。需求分析： 1G / 128m = 8 个 MpaTask；1 个 ReduceTask；1 个 mrAppMaster 平均每个节点运行 10 个 / 3 台 ≈ 3 个任务（4 3 3）修改 配置参数： 关闭虚拟内存检查的原因 重启集群 执行 WordCount 程序 观察 Yarn 任务执行页面 2. 容量调度器多队列提交案例 在生产环境怎么创建队列？创建多队列的
Flink1.13 yarn-cluster运行内存分配报错
j8130的博客
07-20 1108
【求助贴】 flink1.12升级1.13的时候报错，Neither virutal-memory nor physical-memory monitoring is needed. Not running the monitor-thread 现状： 1.12可以正常per-job模式提交，1.13可以正常session模式提交，只有1.13的per-job提交报错。报错截图和内容贴出，求大佬解惑。提供思路也行，万分感谢！！！ 2021-07-19 23:11:33,647 INFO org.apache
yarn虚拟cpu和虚拟内存
u011250186的博客
04-27 1095
目录 虚拟cpu 虚拟内存 正文 回到顶部 虚拟cpu 虚拟的cpu代码并发数，如果一个container拥有2个vcpu，那么该container就可以真正的在同一时间运行两个线程，而不是靠切时间片而达到的逻辑并发。所以一般虚拟的cpu需要和物理cpu的个数保持一致 yarn的计算单元称为YCUs，其实就是把1个cpu分为n份，通常情况控制在1:1000左右，也就是说一个一...
浅谈YARN中Container容器（内存、CPU分配）
青青青的博客
06-08 1万+
    前言：hadoop2.x版本和hadoop1.x版本的一个区别就是：hadoop1.x中负责资源和作业调度的是MapReduce，hadoop2.x版本后，MapReduce只专注于计算，资源和作业的调度由YARN来负责。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。我们的应用在工作的时候，需要消耗内存和CPU，故当YARN收到application申请...
Spark提交任务到yarn 报错提示虚拟内存不足解决办法
qq_32118757的博客
01-27 1168
Spark提交任务到yarn 报错提示虚拟内存不足解决办法
Hadoop：yarn资源配置
web15536243458的博客
08-17 1793
举个例子：公司5台服务器，每台服务器是16核，64G内存，一般会预留20%内存，64x0.8=51.2，内存就按50算，如果机器性能很好，1物理cpu核可以模拟2虚拟核使用，这是yarn自己引入的概念，那就是16x2=32个vcores。不管是spark on yarn还是flink on yarn都是将任务提交后，在yarn上申请运行任务的容器，这个容器就是container，container由内存跟cpu核组成。如果设置min_vcoure = 1，那么最多可以跑32/1=32个container。.
YARN资源分配
Eistert
06-23 1078
转载方便自己总结学习： 原文链接： https://zhuanlan.zhihu.com/p/335881182 让你彻底搞明白YARN资源分配 https://www.zhihu.com/column/c_1325367014777675776 大数据 | 小猴的Flink专栏 本篇要解决的问题是： Container是以什么形式运行的？是单独的JVM进程吗？ YARN的vcore和本机的CPU核数关系？ 每个Container能够使用的物理内存和虚拟内存是多少？ 一个NodeManager可以分配多
Yarn 内存分配管理机制及相关参数配置
热门推荐
Heaven Wang 的专栏
05-04 4万+
理解Yarn的内存管理与分配机制，对于我们搭建、部署集群，开发维护应用都是尤为重要的，对于这方面我做了一些调研供大家参考。 一、相关配置情况 关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念，相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念，现在可以先把它理解为运行map/re
关于yarn内存的介绍，很实用给出了很好的建议
测试工程师Eric的路...
05-07 870
一篇外网的文章，收藏很好 HOW TO PLAN AND CONFIGUREYARN AND MAPREDUCE 2 IN HDP 2.0 by Rohit Bakhshi   As part of HDP 2.0 Beta, YARN takes theresource management capabilities that were in MapReduce and p
YARN生产环境核心配置参数
zhongmingyu
03-10 676
【代码】YARN生产环境核心配置参数。
关于Hadoop集群物理及虚拟内存的检测的设置说明
优快云2022博客之星Top39；华为云博主7&，优快云、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
10-07 2175
关于Hadoop集群物理及虚拟内存的检测的设置说明
YARN架构设计详解
weixin_33770878的博客
04-20 367
一、YARN基本服务组件           YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理...
yarn（cdh）中的虚拟cpu和内存
zjjcchina的博客
11-03 1143
YARN同时支持内存和CPU两种资源的调度,默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置。 什么是虚拟cpu 目前的CPU被划分成虚拟CPU（CPU virtual Core），这里的虚拟CPU是YARN自己引入的概念，初衷是，考虑到不同节点的CPU性能可能不同，每个CPU具有的计算能力也是不一样的，比如某个物理CPU的计算能力可能是另外一个物理CPU的2倍，这时候，你可以通过为第一个物理CPU多配置几个虚拟CPU弥补这种差异。用户提交作业时，可以指定每个任务需要的虚拟CPU个数。 内存
flink任务在yarn上使用yarn-application模式启动，配置的参数有哪些
最新发布
04-02
<think>好的，用户现在想了解在Flink任务中使用YARN的application模式启动时需要配置哪些参数。之前用户询问过如何指定容器大小和CPU核数，现在他们可能希望更全面地了解所有相关配置，特别是针对YARN application模式的参数。 首先，我需要回忆Flink在YARN上的部署模式。YARN application模式与session模式和per-job模式不同，它允许每个应用单独启动集群，适合生产环境。用户可能在使用这种模式时，需要配置资源参数、日志设置、高可用性等。 接下来，我需要整理配置参数的分类。可能包括基础资源参数（JobManager和TaskManager的内存、CPU）、并行度、高可用配置、日志配置、动态属性，以及命令行示例。同时，用户可能想知道每个参数的具体作用和示例值。 然后，要注意用户之前的问题中提到的内存和CPU配置，所以需要详细说明这些部分，包括JVM堆内存、堆外内存等。此外，YARN的vcores配置也很重要，需要解释清楚如何设置CPU核数。 另外，高可用性配置对于生产环境来说很关键，应该包括ZooKeeper的配置和恢复策略。日志配置也是用户可能需要的，尤其是调试时，需要指导如何设置日志级别和路径。 还需要考虑动态参数，用户可能有自定义需求，需要举例如何传递这些参数。最后，提供一个完整的命令行示例，帮助用户整合所有配置。 在验证部分，用户可能需要知道如何确认配置是否生效，比如通过YARN的Web UI或命令行查看应用状态。常见问题如内存不足或CPU竞争，需要给出解决方案，比如调整内存大小或vcores数量。 需要确保回答结构清晰，分点列出，参数用代码块表示，符合用户之前接受的格式。同时，避免使用Markdown，但保持内容的结构化。确保覆盖所有重要参数，并且语言简洁明了，便于用户理解和应用。</think>在 Flink on YARN 的 **Application 模式**（`yarn-application`）下，任务的资源分配和参数配置主要通过 **命令行参数** 和 **Flink 配置文件**（`flink-conf.yaml`）实现。以下是核心参数的分类说明和典型配置方法： --- ### 一、基础资源参数（**必须配置**） #### 1. **JobManager (JM) 资源** | 参数 | 作用 | 示例值 | |--------------------------|----------------------------------------------------------------------|--------------| | `-D jobmanager.memory.process.size` | JM 进程总内存（含堆内存、堆外内存、JVM 开销等） | `2048m` 或 `2g` | | `-yjm` 或 `--yarnjobManagerMemory` | JM 容器的总内存（等效于 `jobmanager.memory.process.size`） | `2048`（单位 MB） | #### 2. **TaskManager (TM) 资源** | 参数 | 作用 | 示例值 | |--------------------------|----------------------------------------------------------------------|--------------| | `-D taskmanager.memory.process.size` | TM 进程总内存（含堆内存、堆外内存、网络缓存等） | `4096m` 或 `4g` | | `-ytm` 或 `--yarntaskManagerMemory` | TM 容器的总内存（等效于 `taskmanager.memory.process.size`） | `4096`（单位 MB） | | `-D yarn.containers.vcores` | 每个 TM 容器的 CPU 虚拟核数（vCores） | `2` | | `-D taskmanager.numberOfTaskSlots` | 每个 TM 的 Slot 数量（需与 vCores 匹配，建议 `slots ≤ vcores`） | `2` | --- ### 二、YARN 集群参数 | 参数 | 作用 | 示例值 | |--------------------------|----------------------------------------------------------------------|--------------| | `-Dyarn.application.name` | YARN 上显示的应用名称 | `Flink-Job-Example` | | `-Dyarn.application.queue`| 指定 YARN 队列 | `default` | | `-Dyarn.application.node-label` | 指定 YARN 节点标签（用于特定节点组） | `gpu-cluster`| --- ### 三、并行度与任务参数 | 参数 | 作用 | 示例值 | |--------------------------|----------------------------------------------------------------------|--------------| | `-p` 或 `--parallelism` | 任务的默认并行度（全局生效） | `4` | | `-c` 或 `--class` | 主类全限定名 | `com.example.MainJob` | --- ### 四、高可用性（HA）配置（可选） | 参数 | 作用 | 示例值 | |--------------------------|----------------------------------------------------------------------|--------------| | `-D high-availability` | 启用 HA（需依赖 ZooKeeper） | `zookeeper` | | `-D high-availability.zookeeper.quorum` | ZooKeeper 集群地址 | `zk1:2181,zk2:2181` | | `-D high-availability.storageDir` | HA 元数据存储路径（如 HDFS） | `hdfs:///flink/ha` | --- ### 五、日志与调试参数 | 参数 | 作用 | 示例值 | |--------------------------|----------------------------------------------------------------------|--------------| | `-D yarn.log-config-file` | 自定义日志配置文件路径 | `/path/to/log4j.properties` | | `-D log.level` | 设置日志级别（全局） | `INFO` 或 `DEBUG` | | `-D env.java.opts` | 附加 JVM 参数（如 GC 调优） | `-XX:+UseG1GC` | --- ### 六、动态参数（通过 `-D` 传递） | 参数格式 | 说明 | |--------------------------|----------------------------------------------------------------------| | `-D key=value` | 覆盖 `flink-conf.yaml` 中的配置或传递自定义参数到 Flink 任务。 | --- ### 七、完整启动命令示例 ```bash ./bin/flink run-application \ -t yarn-application \ -D jobmanager.memory.process.size=2048m \ -D taskmanager.memory.process.size=4096m \ -D yarn.containers.vcores=2 \ -D taskmanager.numberOfTaskSlots=2 \ -D yarn.application.name=Flink-Example \ -D high-availability=zookeeper \ -D high-availability.zookeeper.quorum=zk1:2181,zk2:2181 \ -p 4 \ -c com.example.MainJob \ /path/to/job.jar ``` --- ### 八、参数验证方法 1. **YARN Web UI**： - 访问 `http://<yarn-resourcemanager>:8088`，查看应用资源分配（内存、vCores）。 2. **Flink Web UI**： - 通过 YARN 提供的 Tracking URL 进入 Flink Dashboard，检查 TaskManager 的 Slot 和内存。 3. **日志定位**： - 检查 YARN Container 日志（通过 Web UI 下载或 `yarn logs -applicationId <app_id>`）。 --- ### 九、常见问题与解决 1. **资源不足导致任务失败**： - 现象：YARN 无法分配容器（`Exit code: 137`）。 - 解决：增大 `-yjm`/`-ytm` 并预留 10%~20% 的系统开销。 2. **Slot 与 vCores 不匹配**： - 现象：CPU 利用率低或线程竞争。 - 解决：确保 `taskmanager.numberOfTaskSlots ≤ yarn.containers.vcores`。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值