Hadoop之TaskAttemptContext类和TaskAttemptID类

本文解析了Hadoop中TaskAttemptContext类的作用及其与TaskAttemptID的关系,详细介绍了TaskAttemptID的格式及含义,并说明了TaskAttemptContext如何通过其方法提供taskattempt的相关信息。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

先来看看TaskAttemptContext的类图

     Figure1TaskAttemptContext类图

用户向Hadoop提交Job(作业),JobJobTracker对象的控制下执行。Job不是独立完成的,Job提交后,Hadoop根据集群的规模将Job分解为若干个Task(任务),然后分发到集群中,在TaskTracker的控制下运行。Task包括Map TaskReduce Task,是MapReduceMap操作和Reduce操作的地方。

要了解这个类,还得去看看另一个类——TaskAttemptIDFigure2TaskAttemptID的类图:

      Figure2TaskAttemptID类图

TaskAttemptID的功能就是提供一个task attemptID,而一个task attempt是一个Map TaskReduce Task实例。TaskAttemptID由两部分组成,第一部分是TaskID,第二部分是task attempt序号。TaskAttemptID的格式如下:

 

attempt_201108091551_0001_m_000000_0  

attempt_local_0001_m_000000_0

attempt_201108091551_0001_m_000000_0表示2011891551分启动的JobTracker中第0001号作业的第000000map task的第0task attempt

分段来分析就是:

attempt:表示该标识代表task attempt

201108091551:表示JobTracker启动时间;

0001:表示在JobTracker上运行的0001job

000000:如果紧跟后面的字母是“m”,表示000000map task,如果紧跟后面的字母是“r”,则表示000000reduce task

0:表示0task attempt

 

第二种格式有点不一样,在第二个字段中不是JobTracker的启动日期,而是local,表示单机或伪集群模式运行,其他字段含义与第一种格式一样。

分析了TaskAttemptID类后,我们现在来分析TaskAttemptContext类。由类名可以知道,该类是提供task attempt的相关信息。

 

getTaskAttemptID获取task attemptID,即类似attempt_local_0001_m_000000_0

setStatus设置task当前的状态;

getStatus获取task当前的状态;

progress报告进度,这是个空方法,子类会通过重写这份方法来进行相关操作,如使用StatusReporter报告进度;

 

TaskInputOutputContext继承TaskAttemptContext,重写了setStatus方法和progress方法。在TaskInputOutputContext的这两个方法中,都使用StatusReporter对象。可见,继承TaskAttemptContext的子类主要是重写这两个方法来完成工作的。

 

 

转载于:https://www.cnblogs.com/xuepei/p/3672759.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值