【Hadoop】MapReduce Job Files

最新推荐文章于 2024-07-08 22:54:08 发布

天外有菌

最新推荐文章于 2024-07-08 22:54:08 发布

阅读量1.4k

点赞数

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/zhangjun2915/article/details/12874773

版权

Hadoop 专栏收录该内容

19 篇文章

订阅专栏

Hadoop在运行MapReduce作业时，JobTracker和TaskTracker会生成并维护一系列文件，用于作业的执行、管理和监控。部分文件存储在HDFS，便于分发，部分存储在JobTracker和TaskTracker本地。主要的job文件类型包括Staging目录和History目录。Staging目录用于用户提交作业时将Job相关文件拷贝到HDFS；History目录则通过HistoryServer记录Job的历史运行状态，如任务尝试的启动时间、状态和计数器等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop运行一个MapReduce Job后，JobTracker和TaskTracker都需要创建/维护一系列的文件以便运行/管理/监控job。其中，有部分job files存储在HDFS从而可以分发到各个TT，有部分存储在JT和TT本地。

JobTracker Files

下表总结了几种主要的job file：

FS	Location Property	Child Directory	Directory File List	File Type
HDFS	mapreduce.jobtracker.staging.root.dir	<userId>/.staging/<jobId>	job.xml job.jar job.split job.splitmetainfo	Temporary
HDFS	mapred.system.dir	<jobId>	jobToken	Temporary
Local	mapred.local.dir	jobTracker	<jobId>.xml	Temporary
Local	hadoop.job.history.location	.	<jobId>_<timestamp>_<userId>_<jobName> <jobId>_conf.xml	Persistent

其中有两点解释一下：

Staging directory: 用户提交Job时，客户端需要将Job相关的文件拷贝到HDFS以便JobTracker随后引用。这在另一篇文章《MapReduce Job Submission Files》中讨论过
History directory: 用户之所以可以通过UI来监测Job运行以及历史信息，是因为JobTracker实现了一个HistoryServer，并将Job运行的历史信息记录到Local FS。最主要的是记录历史运行状态的文件，记录了包括提交/完成时间，每个Task Attemp的启动时间，运行状态，Counter等。

Cloudera Blog上有一篇总结Job Files的文章http://blog.cloudera.com/blog/2010/11/hadoop-log-location-and-retention/

TaskTracker Files

真正执行Task的TaskTracker在Local FileSystem也需要维护一系列的job files，下面这篇文章的"Directory Structure"部分有详细总结:

http://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html