Hadoop之TaskAttemptContext类和TaskAttemptID类

最新推荐文章于 2022-05-15 18:31:03 发布

转载最新推荐文章于 2022-05-15 18:31:03 发布 · 541 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/xuepei/p/3672759.html

文章标签：

#大数据

本文解析了Hadoop中TaskAttemptContext类的作用及其与TaskAttemptID的关系，详细介绍了TaskAttemptID的格式及含义，并说明了TaskAttemptContext如何通过其方法提供taskattempt的相关信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先来看看TaskAttemptContext的类图

：

Figure1：TaskAttemptContext类图

用户向Hadoop提交Job（作业），Job在JobTracker对象的控制下执行。Job不是独立完成的，Job提交后，Hadoop根据集群的规模将Job分解为若干个Task（任务），然后分发到集群中，在TaskTracker的控制下运行。Task包括Map Task和Reduce Task，是MapReduce的Map操作和Reduce操作的地方。

要了解这个类，还得去看看另一个类——TaskAttemptID，Figure2是TaskAttemptID的类图：

Figure2：TaskAttemptID类图

TaskAttemptID的功能就是提供一个task attempt的ID，而一个task attempt是一个Map Task或Reduce Task实例。TaskAttemptID由两部分组成，第一部分是TaskID，第二部分是task attempt序号。TaskAttemptID的格式如下：

attempt_201108091551_0001_m_000000_0 或

attempt_local_0001_m_000000_0

attempt_201108091551_0001_m_000000_0表示2011年8月9日15时51分启动的JobTracker中第0001号作业的第000000号map task的第0号task attempt。

分段来分析就是：

attempt：表示该标识代表task attempt；

201108091551：表示JobTracker启动时间；

0001：表示在JobTracker上运行的0001号job；

000000：如果紧跟后面的字母是“m”，表示000000号map task，如果紧跟后面的字母是“r”，则表示000000号reduce task；

0：表示0号task attempt；

第二种格式有点不一样，在第二个字段中不是JobTracker的启动日期，而是local，表示单机或伪集群模式运行，其他字段含义与第一种格式一样。

分析了TaskAttemptID类后，我们现在来分析TaskAttemptContext类。由类名可以知道，该类是提供task attempt的相关信息。

getTaskAttemptID：获取task attempt的ID，即类似attempt_local_0001_m_000000_0；

setStatus：设置task当前的状态；

getStatus：获取task当前的状态；

progress：报告进度，这是个空方法，子类会通过重写这份方法来进行相关操作，如使用StatusReporter报告进度；

TaskInputOutputContext继承TaskAttemptContext，重写了setStatus方法和progress方法。在TaskInputOutputContext的这两个方法中，都使用StatusReporter对象。可见，继承TaskAttemptContext的子类主要是重写这两个方法来完成工作的。

转载于:https://www.cnblogs.com/xuepei/p/3672759.html