yarn-site.xml的配置

代码块

本人使用的是hadoop-2.7.3
若是简单启动hadoop，无特别要求以下配置即可

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

完整yarn-site.xml的配置要理解各参数的准确含义后，针对自己的要求更改配置

参数	默认值	描述
yarn.resourcemanager.hostname		RM的hostname
yarn.resourcemanager.address	${yarn.resourcemanager.hostname}:8032	RM对客户端暴露的地址，客户端通过该地址向RM提交应用程序等
yarn.resourcemanager.scheduler.address	${yarn.resourcemanager.hostname}:8030	RM对AM暴露的地址，AM通过地址想RM申请资源，释放资源等
yarn.resourcemanager.webapp.address	${yarn.resourcemanager.hostname}:8088	RM对外暴露的web http地址，用户可通过该地址在浏览器中查看集群信息
yarn.resourcemanager.webapp.https.address	${yarn.resourcemanager.hostname}:8090	web https 地址
yarn.resourcemanager.resource-tracker.address	${yarn.resourcemanager.hostname}:8031	RM对NM暴露地址，NM通过该地址向RM汇报心跳，领取任务等
yarn.resourcemanager.resource-tracker.client.thread-count	50	处理来自NM的RPC请求的handler数
yarn.resourcemanager.admin.address	${yarn.resourcemanager.hostname}:8033	管理员可以通过该地址向RM发送管理命令等
yarn.resourcemanager.scheduler.class
org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler	资源调度器主类
yarn.resourcemanager.scheduler.client.thread-count	50	处理来自AM的RPC请求的handler数
yarn.scheduler.minimum-allocation-mb	1024	可申请的最少内存资源，以MB为单位
yarn.scheduler.maximum-allocation-mb	8192	可申请的最大内存资源，以MB为单位
yarn.scheduler.minimum-allocation-vcores	1	可申请的最小虚拟CPU个数
yarn.scheduler.maximum-allocation-vcores	32	可申请的最 大虚拟CPU个数
yarn.nodemanager.local-dirs	${hadoop.tmp.dir}/nm-local-dir	中间结果存放位置，可配置多目录
yarn.log-aggregation-enable	false	是否启用日志聚合
yarn.nodemanager.remote-app-log-dir	/tmp/logs	日志聚合目录
yarn.nodemanager.resource.memory-mb	8192	NM总的可用物理内存，以MB为单位。一旦设置，不可动态修改
yarn.nodemanager.resource.cpu-vcores	8	可分配的CPU个数
yarn.nodemanager.vmem-check-enabled	true	虚拟内存检查
yarn.nodemanager.vmem-check-enabled	true	物理内存检查
mapreduce.map.memory.mb		这个参数指定用于Map任务（Map task）的内存大小，其值应该在ResourceManager中的最大最小container之间。如果没有配置则通过如下简单公式获得：max(MIN_CONTAINER_SIZE, (Total Available RAM) / containers))
mapreduce.reduce.memory.mb		这个参数指定用于Reduce任务（Reduce task）的内存大小，其值应该在ResourceManager中的最大最小container之间。如果没有配置则通过如下简单公式获得：max(MIN_CONTAINER_SIZE, (Total Available RAM) / containers))
yarn.nodemanager.vmem-pmem-ratio	2.1	物理内存与虚拟内存的比率
yarn.nodemanager.aux-services		NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序

由于更改集群配置比较麻烦，且容易出错
建议一些经常变动的配置不要在yarn-site.xml中配置 ，例如:

   yarn.nodemanager.vmem-check-enabled
   yarn.nodemanager.vmem-pmem-ratio
   mapreduce.map.memory.mb
   mapreduce.reduce.memory.mb
   yarn.log-aggregation-enable
   ......

类似这些控制、监控container内存使用和mapreduce任务运行的资源分配，以及日志合并的变量可以在使用是随时更改，例如在hive中:

    hive > set mapreduce.map.memory.mb;
    mapreduce.map.memory.mb=4096
    hive > set  mapreduce.reduce.memory.mb;
    mapreduce.reduce.memory.mb=4096
    hive > set yarn.nodemanager.vmem-pmem-ratio;
    yarn.nodemanager.vmem-pmem-ratio=4.2

本文参考地址:http://www.itnose.net/detail/6673635.html