5.2 YARN参数解读与调优

最新推荐文章于 2023-08-25 15:22:17 发布
转载 最新推荐文章于 2023-08-25 15:22:17 发布 · 581 阅读 · 1
文章标签：

#大数据

本文详细解读了Hadoop YARN的资源配置参数，包括ResourceManager和NodeManager的相关配置，以及mapred-site.xml中的参数默认值。并通过实例展示了如何根据节点硬件配置调整YARN参数以达到最优性能。

第5章 YARN：资源调度平台

5.2 YARN参数解读与调优

yarn-site.xml文件默认参数： 
http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

5.2.1 ResourceManager相关配置参数

参数默认值说明
yarn.resourcemanager.address${yarn.resourcemanager.hostname}:8032ResourceManager 对客户端暴露的地址
yarn.resourcemanager.scheduler.address${yarn.resourcemanager.hostname}:8030ResourceManager 对ApplicationMaster暴露的访问地址2
yarn.resourcemanager.resource-tracker.address${yarn.resourcemanager.hostname}:8031ResourceManager 对NodeManager暴露的地址
yarn.resourcemanager.admin.address${yarn.resourcemanager.hostname}:8033ResourceManager 对管理员暴露的访问地址
yarn.resourcemanager.webapp.address${yarn.resourcemanager.hostname}:8088ResourceManager对外WebUI地址
yarn.resourcemanager.scheduler.class..capacity.CapacityScheduler启用的资源调度器主类，目前可用的有FIFO、Capacity Scheduler和Fair Scheduler
yarn.resourcemanager.resource-tracker.client.thread-count50处理来自NodeManager的RPC请求的Handler数目
yarn.resourcemanager.scheduler.client.thread-count50处理来自ApplicationMaster的RPC请求的Handler数目
yarn.scheduler.minimum-allocation-mb1024单个可申请的最小内存资源量
yarn.scheduler.maximum-allocation-mb8192单个可申请的最大内存资源量
yarn.scheduler.minimum-allocation-vcores1单个可申请的最小虚拟CPU个数
yarn.scheduler.maximum-allocation-vcores32单个可申请的最大虚拟CPU个数
yarn.resourcemanager.nodemanagers.heartbeat-interval-ms1000（毫秒）NodeManager心跳间隔

..capacity.CapacityScheduler的完整名称： org.apache.Hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

5.2.2 NodeManager相关配置参数

参数默认值说明
yarn.nodemanager.resource.memory-mb8192NodeManager总的可用物理内存（这个值通过一定要配置）
yarn.nodemanager.vmem-pmem-ratio2.1每使用1MB物理内存，最多可用的虚拟内存数
yarn.nodemanager.resource.cpu-vcores8NodeManager总的可用虚拟CPU个数
yarn.nodemanager.local-dirs${hadoop.tmp.dir}/nm-local-dir中间结果存放位置，这个参数通常会配置多个目录，已分摊磁盘IO负载。
yarn.nodemanager.log-dirs${yarn.log.dir}/userlogs日志存放地址（可配置多个目录）
yarn.nodemanager.log.retain-seconds10800NodeManager上日志最多存放时间（不启用日志聚集功能时有效）
yarn.nodemanager.aux-services NodeManager上运行的附属服务,需配置成mapreduce_shuffle，才可运行MapReduce程序

5.2.3 mapred-site.xml

参数默认值说明
mapreduce.job.reduces1默认启动的reduce数
mapreduce.job.maps2默认启动的map数
mapreduce.task.io.sort.factor10Reduce Task中合并小文件时，一次合并的文件数据
mapreduce.task.io.sort.mb100Map Task缓冲区所占内存大小
mapred.child.java.opts-Xmx200mjvm启动的子线程可以使用的最大内存
mapreduce.jobtracker.handler.count10JobTracker可以启动的线程数，一般为tasktracker节点的4%
mapreduce.reduce.shuffle.parallelcopies5reuduce shuffle阶段并行传输数据的数量
mapreduce.tasktracker.http.threads40map和reduce是通过http进行数据传输的，这个是设置传输的并行线程数
mapreduce.map.output.compressfalsemap输出是否进行压缩，如果压缩就会多耗cpu，但是减少传输时间，如果不压缩，就需要较多的传输带宽
mapreduce.reduce.shuffle.merge.percent0.66reduce归并接收map的输出数据可占用的内存配置百分比
mapreduce.reduce.shuffle.memory.limit.percent0.25一个单一的shuffle的最大内存使用限制。
mapreduce.jobtracker.handler.count10可并发处理来自tasktracker的RPC请求数，默认值10。
mapreduce.job.jvm.numtasks1一个jvm可连续启动多个同类型任务，默认值1，若为-1表示不受限制。
mapreduce.tasktracker.reduce.tasks.maximum2一个tasktracker并发执行的reduce数，建议为cpu核数

5.2.4 参数调优

参照 
http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.0/index.html

这里写图片描述

单击“Command Line Installation”超链接后的PDF图标，即可打开HDP安装文档。

这里写图片描述

单击“1.10. Determining HDP Memory Configuration Settings”条目，跳转到对应页面

这里写图片描述

单击“Download Companion Files”连接，可以看到两条命令


   
  1. 
     
    
      
    
     
    
     
    
      
    
       wget http:
       //public-repo-
       1.
       hortonworks
       .com
       /HDP/tools/
       2.6
       .0
       .3
       / hdp_manual_install_rpm_helper_files-
       2.6
       .0
       .3
       .8
       .tar
       .gz
      
    
     
  2. 
     
    
      
    
     
    
     
    
      
     
      
    
     
  3. 
     
    
      
    
     
    
     
    
      
    
       tar zxvf hdp_manual_install_rpm_helper_files-
       2.6
       .0
       .3
       .8
       .tar
       .gz
      
    
     

   
  • 1
  • 2
  • 3

下载：


   
  1. 
     
    
      
    
     
    
     
    
      
    
       [
       root@node1 ~]
       # wget http://public-repo-1.hortonworks.com/HDP/tools/2.6.0.3/hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz
      
    
     
  2. 
     
    
      
    
     
    
     
    
      
    
       -
       -
       2017
       -
       05
       -
       23 
       23:
       26:
       13--  http:
       //public-repo-
       1.
       hortonworks.com/HDP/tools/
       2.6
       .0
       .3
       /hdp_manual_install_rpm_helper_files-
       2.6
       .0
       .3
       .8
       .tar.gz
      
    
     
  3. 
     
    
      
    
     
    
     
    
      
    
       Resolving 
       public-repo
       -
       1.hortonworks.com (
       public-repo
       -
       1.hortonworks.com)
       ... 
       52.84
       .167
       .222, 
       52.84
       .167
       .38, 
       52.84
       .167
       .49, 
       ...
      
    
     
  4. 
     
    
      
    
     
    
     
    
      
    
       Connecting to 
       public-repo
       -
       1.hortonworks.com (
       public-repo
       -
       1.hortonworks.com)|
       52.84
       .167
       .222|:
       80... connected.
      
    
     
  5. 
     
    
      
    
     
    
     
    
      
    
       HTTP request sent, awaiting response... 
       200 OK
      
    
     
  6. 
     
    
      
    
     
    
     
    
      
    
       Length: 
       85173 (
       83K) [application/x-tar]
      
    
     
  7. 
     
    
      
    
     
    
     
    
      
    
       Saving to: ‘hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8.tar.gz’
      
    
     
  8. 
     
    
      
    
     
    
     
    
      
     
      
    
     
  9. 
     
    
      
    
     
    
     
    
      
    
       100%[==================================================================================================================================>] 
       85,
       173       
       132KB/s   
       in 
       0.
       6s   
      
    
     
  10. 
     
    
      
    
     
    
     
    
      
     
      
    
     
  11. 
     
    
      
    
     
    
     
    
      
    
       2017
       -
       05
       -
       23 
       23:
       26:
       14 (
       132 KB/s) - ‘hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8.tar.gz’ saved [
       85173/
       85173]
      
    
     

   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

解压缩


   
  1. 
     
    
      
    
     
    
     
    
      
    
       [
       root@node1 ~]
       # tar -zxvf hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz
      
    
     
  2. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/
      
    
     
  3. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/
      
    
     
  4. 
     
    
      
    
     
    
     
    
      
    
       .....
      
    
     
  5. 
     
    
      
    
     
    
     
    
      
    
       2.6
       .0
       .3
       .8/configuration_files/zookeeper/configuration
       .xsl
      
    
     
  6. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/zookeeper/log4j
       .properties
      
    
     
  7. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/zookeeper/zoo
       .cfg
      
    
     
  8. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/pig/
      
    
     
  9. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/pig/pig-env
       .sh
      
    
     
  10. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/pig/pig
       .properties
      
    
     
  11. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/pig/log4j
       .properties
      
    
     
  12. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/oozie/
      
    
     
  13. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/oozie/oozie-log4j
       .properties
      
    
     
  14. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/oozie/oozie-env
       .sh
      
    
     
  15. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/oozie/oozie-site
       .xml
      
    
     
  16. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/oozie/adminusers
       .txt
      
    
     
  17. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/oozie/hadoop-config
       .xml
      
    
     
  18. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/oozie/oozie-
       default
       .xml
      
    
     
  19. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/hbase/
      
    
     
  20. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/hbase/hbase-policy
       .xml
      
    
     
  21. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/hbase/regionservers
      
    
     
  22. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/hbase/hadoop-metrics
       .properties
      
    
     
  23. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/hbase/hbase-env
       .sh
      
    
     
  24. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/hbase/hadoop-metrics
       .properties
       .master-GANGLIA
      
    
     
  25. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/hbase/hadoop-metrics
       .properties
       .regionservers-GANGLIA
      
    
     
  26. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/hbase/hbase-site
       .xml
      
    
     
  27. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/hbase/log4j
       .properties
      
    
     
  28. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/webhcat/
      
    
     
  29. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/webhcat/webhcat-env
       .sh
      
    
     
  30. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/configuration_files/webhcat/webhcat-site
       .xml
      
    
     
  31. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/scripts/
      
    
     
  32. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/scripts/directories
       .sh
      
    
     
  33. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/scripts/yarn-utils
       .py
      
    
     
  34. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/scripts/usersAndGroups
       .sh
      
    
     
  35. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/readme
       .txt
      
    
     
  36. 
     
    
      
    
     
    
     
    
      
    
       hdp_manual_install_rpm_helper_files
       -
       2.6
       .0
       .3
       .8/HDP-CHANGES
       .txt
      
    
     
  37. 
     
    
      
    
     
    
     
    
      
    
       [
       root@node1 ~]
       # 
      
    
     

   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37

   

   
  1. 
     
    
      
    
     
    
     
    
      
    
       [root@node1 ~]
       # cd hdp_manual_install_rpm_helper_files-2.6.0.3.8
      
    
     
  2. 
     
    
      
    
     
    
     
    
      
    
       [root@node1 hdp_manual_install_rpm_helper_files-
       2.6
       .0
       .3
       .8]
       # ls
      
    
     
  3. 
     
    
      
    
     
    
     
    
      
    
       configuration_files  HDP-CHANGES
       .txt  readme
       .txt  scripts
      
    
     
  4. 
     
    
      
    
     
    
     
    
      
    
       [root@nb0 hdp_manual_install_rpm_helper_files-
       2.6
       .0
       .3
       .8]
       # cd scripts/
      
    
     
  5. 
     
    
      
    
     
    
     
    
      
    
       [root@nb0 scripts]
       # ls
      
    
     
  6. 
     
    
      
    
     
    
     
    
      
    
       directories
       .sh  usersAndGroups
       .sh  yarn-utils
       .py
      
    
     

   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

假设，某个节点有4核8G内存1块硬盘，该节点同时安装HBase，通过下面命令即可获得优化参数


   
  1. 
     
    
      
    
     
    
     
    
      
    
       [root@nb0 scripts]
       # python yarn-utils.py -c 4 -m 8 -d 1 -k True
      
    
     
  2. 
     
    
      
    
     
    
     
    
      
     
       Using cores=
       4 memory=
       8GB disks=
       1 hbase=
       True
      
    
     
  3. 
     
    
      
    
     
    
     
    
      
     
       Profile: cores=
       4 memory=
       5120MB reserved=
       3GB usableMem=
       5GB disks=
       1
      
    
     
  4. 
     
    
      
    
     
    
     
    
      
     
       Num 
       Container=
       3
      
    
     
  5. 
     
    
      
    
     
    
     
    
      
     
       Container 
       Ram=
       1536MB
      
    
     
  6. 
     
    
      
    
     
    
     
    
      
     
       Used 
       Ram=
       4GB
      
    
     
  7. 
     
    
      
    
     
    
     
    
      
     
       Unused 
       Ram=
       3GB
      
    
     
  8. 
     
    
      
    
     
    
     
    
      
    
        yarn
       .scheduler
       .minimum-allocation-mb=
       1536
      
    
     
  9. 
     
    
      
    
     
    
     
    
      
    
        yarn
       .scheduler
       .maximum-allocation-mb=
       4608
      
    
     
  10. 
     
    
      
    
     
    
     
    
      
    
        yarn
       .nodemanager
       .resource
       .memory-mb=
       4608
      
    
     
  11. 
     
    
      
    
     
    
     
    
      
    
        mapreduce
       .map
       .memory
       .mb=
       1536
      
    
     
  12. 
     
    
      
    
     
    
     
    
      
    
        mapreduce
       .map
       .java
       .opts=-
       Xmx1228m
      
    
     
  13. 
     
    
      
    
     
    
     
    
      
    
        mapreduce
       .reduce
       .memory
       .mb=
       3072
      
    
     
  14. 
     
    
      
    
     
    
     
    
      
    
        mapreduce
       .reduce
       .java
       .opts=-
       Xmx2457m
      
    
     
  15. 
     
    
      
    
     
    
     
    
      
    
        yarn
       .app
       .mapreduce
       .am
       .resource
       .mb=
       3072
      
    
     
  16. 
     
    
      
    
     
    
     
    
      
    
        yarn
       .app
       .mapreduce
       .am
       .command-opts=-
       Xmx2457m
      
    
     
  17. 
     
    
      
    
     
    
     
    
      
    
        mapreduce
       .task
       .io
       .sort
       .mb=
       614
      
    
     

   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

选项说明

选项描述
-c每一个客户机的核数目
-m每一个客户机拥有的内存总数
-d每一个客户机拥有的磁盘数目
-k如果Hbase安装了为”True”，否则为”False”
YARN Timeline Server原理与代码实例讲解
AI天才研究院
07-22 1356
YARN Timeline Server原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来
Yarn资源管理和任务调度原理与代码实例讲解
最新发布
AI天才研究院
07-07 1011
Yarn资源管理和任务调度原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：YARN，Hadoop生态系统，集群管理，资源分配，任务调度，MapReduce 1. 背景介绍
Yarn的生产参数调优
qq_40454655的博客
12-15 631
官网默认参数 https://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xmlguan 参数调优 1.Container Container就是Yarn中的一个动态资源分配的概念。其拥有一定的内存+核数（memory+vcore），由RM分配给ApplicationMaster或MapTask...
Hadoop常用端口号
果子哥丶的博客
02-19 3671
一、常用端口 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNode 50475 dfs.datanode.https.address https服务的端口 HDFS DataNode 50020 dfs.datanode.ipc.address ipc服务的端口 H
Hadoop-MapReduce与Yarn配置文件
wudidahuanggua的博客
09-18 1504
mapreduce与yarn配置文件的简单介绍
Yarn参数优化(Fair Scheduler版本)
qq_32445015的博客
11-21 508
YARN 自从hadoop2.0之后, 我们可以使用apache yarn 来对集群资源进行管理。yarn把可以把资源（内存,CPU）以Container的方式进行划分隔离。YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每个应用提供处理能力, Container（容器）是YARN中处理能力的基本单元, 是对内存, CPU等的封装（容器）。 ResourceManager：以下简称RM。Y
Hadoop基础教程-第5章 YARN：资源调度平台（5.2 YARN参数解读与调优）
程裕强的专栏
05-23 1625
第5章 YARN：资源调度平台5.2 YARN参数解读与调优yarn-site.xml文件默认参数： http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml5.2.1 ResourceManager相关配置参数 参数 默认值 说明 yarn.resourcemanager
YARN应用监控与性能调优：核心指标分析与应用
[YARN应用监控与性能调优：核心指标分析与应用](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ccd3521dff1c4b9bb5f5df231d291e99~tplv-k3u1fbpfcp-zoom-in-crop-mark:4536:0:0:0.image?) # 1. YARN架构与监控...
YARN作业性能调优：深入了解参数配置的艺术
[YARN作业性能调优：深入了解参数配置的艺术](https://user-images.githubusercontent.com/62649324/143797710-e1813b28-3e08-46d4-9c9f-992c37d54842.png) # 1. YARN作业性能调优概述 ## 简介 随着大数据处理需求...
【HDFS性能调优】：关键参数设置与性能优化策略详解
[【HDFS性能调优】：关键参数设置与性能优化策略详解](https://media.geeksforgeeks.org/wp-content/cdn-uploads/NameNode-min.png) # 1. HDFS性能调优概述 在大数据时代背景下，Hadoop分布式文件系统（HDFS）是...
Yarn 内存分配管理机制及相关参数配置
weixin_34018202的博客
09-08 874
理解Yarn的内存管理与分配机制，对于我们搭建、部署集群，开发维护应用都是尤为重要的，对于这方面我做了一些调研供大家参考。 关于Yarn的详细介绍请参考【Hadoop Yarn详解】 一、相关配置情况 关于Yarn内存分配与管理，主要涉及到了ResourceManage、ApplicationMatser、NodeManager...
Yarn参数调优
forerunner123的博客
04-15 513
yarn在该节点上可使用的物理内存总量，默认是8192（MB） 注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 <property> <description>Amount of physical memory, in MB, that can be allocated for container...
Hadoop知识点（六）-YARN参数优化
qq_38633279的博客
05-21 611
参数调优1.生产如何调优container参数？1.2生产如何设置 突破口1.3整合memory cpu2.YARN资源调度器2.1FIFO Scheduler 先进先出（相当于队列）2.2Capacity Scheduler 调度器2.3Fair Scheduler 生产上应用 Container 关于yarn的调优，就是调container 虚拟化的是内存+cpu的vcores组成的，是运行task任务的 1.生产如何调优container参数？ 生产预留空间原因： 1.oom-kill机制 2
MapReduce & Yarn参数优化
guanqingqing_的博客
06-17 683
MapReduce & Yarn参数优化资源相关参数容错相关参数本地运行mapreduce 作业效率和稳定性相关参数关于yarn常用参数设置 资源相关参数 以下调整参数都在mapred-site.xml这个配置文件当中有 //以下参数是在用户自己的mr应用程序中配置就可以生效 (1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认...
Hadoop Yarn 核心调优参数
JIE的博客 --- moon_coder
08-25 2205
如果一个容器的虚拟内存使用量超过了预先配置的限制，NodeManager 会采取措施来处理这种情况，通常是终止或杀死该容器。这个参数的目的是限制应用程序可以使用的虚拟内存量，以避免某个应用程序无限制地占用虚拟内存资源，导致其他任务和应用程序受影响。用于指定每个 NodeManager 节点可以使用的内存量，以兆字节（MB）为单位，默认。用于指定每个 NodeManager 节点可以使用的虚拟核心数量（vCores），默认为。，NodeManager 将会在分配容器资源时，考虑每个容器使用的虚拟内存量。
Yarn调优
qq_34382453的博客
10-25 384
1 什么是yarn Yarn是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster，其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。 Yarn主要由Resou...
yarn资源调优参数及案例
weixin_38729343的博客
07-19 1840
1.yarn内存调优 说明：yarn主件的nodemanager进程管理的resource的memory资源 可以分配给容器的物理内存(以MB为单位)。如果设置为-1，并yarn.nodemanager.resource.detect-hardware- capability为真，则自动计算(在Windows和Linux中)。在其他情况下，默认值是8192MB。 yarn.nodemanager....
Yarn参数优化
qq_42279718的博客
03-20 806
AM资源比例上线： ##定义队列最多同时可以运行的AM数量。 所有队列的ApplicationMaster资源比例上限可通过参数yarn.scheduler.capacity. maximum-am-resource-percent设置（可看做默认值）支持浮点数，如：10c的队列单个am<1c,2G> 则0.6表示同时最多运行6个AM ......
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值