本文介绍了Hadoop中mapred.tasktracker.map.tasks.maximum参数的最佳实践，推荐将其设置为节点的CPU核心数或减1以提高运行效率。对于mapred.map.tasks（每个job的map任务数），虽然Hadoop默认值为2，但在使用Hive时，该值会被自动设置为输入文件的数量。
hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2
也即：每一个tasktracker同时运行的map任务数为2
某公司经过测试，发现将mapred.tasktracker.map.tasks.maximum设置为节点的cpu cores数目或者数目减1比较合适此时的运行效率最高。
如果机器是8核的，所以最终配置如下：
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>8</value>
<description>The maximum number of map tasks that will be run
simultaneously by a task tracker.
</description>
</property>
而对于mapred.map.tasks（每个job的map任务数）值，hadoop默认值也为2
可以在执行hive前，通过set mapred.map.tasks=24来设定
但由于使用hive，会操作多个input文件，所以hive默认会把map的任务数设置成输入的文件数目
即使你通过set设置了数目，也不起作用…
扫一扫
727
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
