MapReduce优化----map和reduce的槽数的设定

1、修改mapreduce中map和reduce的槽数 
因为hadoop 的集群所有机器不可能完全硬件配置一样,那么不同节点机器负载也不一样,不同节点上并发的最大map
和reduce数量也不一样。
可以先试验下将每台tasktracker的map槽数调整到合适的数量,使得其能执行最大map数量。
在对应节点机器上修改mapred-site.xml文件,添加如下参数:默认参数为2:
在对应的节点机器上修改mapreduce-sit.xml文件,添加参数如下:
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
<description>The maximum number of map tasks that will be run
simultaneously by a task tracker.
</description>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
<description>The maximum number of reduce tasks that will be run
simultaneously by a task tracker.
</description>
</property>
还有多种参数的设置:mapreduce的优化,hdfs的优化,hbase的优化
hbase的优化见 http://jiajun.iteye.com/category/99897?show_full=true
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值