Task Controllers配置

最新推荐文章于 2024-04-21 13:46:56 发布

原创最新推荐文章于 2024-04-21 13:46:56 发布 · 614 阅读

0 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

22 篇文章

订阅专栏

本文介绍了Hadoop中如何配置任务控制器(taskcontroller)，包括使用默认的任务控制器和LinuxTaskController的配置方式，并简要提及了在使用LinuxTaskController时的额外设置。

1. hadoop 提供了对map任务或者task任务进行control的类。

例如，在默认情况下，以task tracker用户对任务进行执行；然而，有些应用要求以作业提交者身份来执行任务(这就要求在每个task tracker创建用户)。

2. 在conf/mapred-site.xml中设置

 <property>
                <name>mapreduce.tasktracker.taskcontroller</name>
                <value>org.apache.hadoop.mapred.DefaultTaskController</value>
 </property>
或者
 <property>
                <name>mapreduce.tasktracker.taskcontroller</name>
                <value>org.apache.hadoop.mapred.LinuxTaskController</value>
 </property>

3. 如果是第二种配置，还需要进一步的设置，详细见文档。