Hadoop 各参数优化

 

 

<property>

                        <name>mapred.tasktracker.map.tasks.maximum</name>

                        <value>4</value>

</property> // 单机Map端最大可执行的Map任务数

 

 

<property>

                        <name>mapred.tasktracker.reduce.tasks.maximum</name>

                        <value>6</value>

</property> // 单机Reduce端最大可执行的Reduce任务数目

 

<property>

  <name>mapred.local.dir</name>

  <value>${hadoop.tmp.dir}/mapred/local</value>

  <description>The local directory where MapReduce stores intermediate

  data files.  May be a comma-separated list of

  directories on different devices in order to spread disk i/o.

  Directories that do not exist are ignored.

  </description> // MapReduce 执行过程的本地临时存储目录，多个目录逗号分隔。（多个目录可以提高磁盘IO，多个目录最好分属于不同的磁盘）

</property>

 

<property>

  <name>hadoop.tmp.dir</name>

  <value>/tmp/hadoop-${user.name}</value> // 默认在/tmp 目录下，这个最好进行更改，/tmp目录在重启系统的时候会被清除

  <description>A base for other temporary directories.</description>

</property> // Hadoop 系统的临时存储目录（本地*inux文件系统）

 

 

 

 

待解答问题：

1. Map的数目和什么条件相关 ？

 

 

2. Reduce的数据和什么条件相关 ？