Hadoop 任务调度

mapred-site.xml 文件

 

 

 

                <property>

                        <name>mapred.jobtracker.taskScheduler</name>

                        <value>org.apache.hadoop.mapred.FairScheduler</value> // 确保存在此Jar包

                </property>

 

                <property>

                        <name>mapred.fairscheduler.allocation.file</name>

                        <value>/opt/hadoop/conf/fair-scheduler.xml</value> // 

                </property>

 

                <property>

                        <name>mapred.fairscheduler.poolnameproperty</name> //

                        <value>user.name</value>

                </property>

 

 

 

 

 

fair-scheduler.xml   文件 （公平调度器样例）

 

<allocations>

 

  <pool name="hadoop">  // 用户名称可使用的Map Reduce 资源

    <minMaps>5</minMaps>

    <minReduces>5</minReduces>

    <maxMaps>8</maxMaps>

    <weight>2.0</weight>

  </pool>

 

  <user name="hadoop"> // 用户hadoop可并发执行的任务数

    <maxRunningJobs>1</maxRunningJobs>

  </user>

 

  <user name="biansutao"> // 用户biansutao可并发执行的任务数

    <maxRunningJobs>1</maxRunningJobs>

  </user>

 

  <userMaxJobsDefault>3</userMaxJobsDefault> // 默认用户可执行的任务数

 

 

  <pool name="biansutao"> // 用户biaosutao可使用的Map Reduce 资源

    <minMaps>5</minMaps>

    <minReduces>5</minReduces>

    <maxMaps>8</maxMaps>

    <weight>2.0</weight>

  </pool>

 

  <pool name="default">  // 默认没有配置的其他用户可以使用的 Map Reduce  资源

    <minMaps>15</minMaps>

    <minReduces>15</minReduces>

    <maxMaps>20</maxMaps>

  </pool>

</allocations>

 

备注： 此文件只要有一份在JobTracker 机器所在的节点即可，修改后自动生效不用重启（Hadoop）

 

参考：

http://dongxicheng.org/mapreduce/hadoop-permission-management/

http://hadoop.apache.org/mapreduce/docs/r0.21.0/fair_scheduler.html

http://hadoop.apache.org/common/docs/r0.20.2/fair_scheduler.html

http://hadoop.apache.org/common/docs/r0.20.2/service_level_auth.html

http://hi.baidu.com/youziguo/blog/item/35f1958937bba5cffd1f10aa.html

http://forum.hadoop.tw/viewtopic.php?f=4&t=60

http://hadoop.apache.org/common/docs/r0.20.2/cluster_setup.html#Configuring+the+Hadoop+Daemons