Hadoop2 MR-JobHistory服务介绍

Hadoop2 MR-JobHistory服务详解

最新推荐文章于 2023-04-13 12:34:05 发布

原创

最新推荐文章于 2023-04-13 12:34:05 发布 · 1.5w 阅读

2 ·

CC 4.0 BY-SA版权

本文介绍了Hadoop2中的MR-JobHistory服务，包括其目标是提供历史MapReduce Job查询，服务架构涉及Job History信息保存到HDFS、History Server的Web和REST接口，以及配置LogAggregation和jobhistory存储路径等。此外，还提到了启动HistoryServer的步骤。

1）MR-JobHistory服务目标

主要是向用户提供历史的mapred Job 查询

2） MR-JobHistory服务架构

详细解释：

a）在运行MR Job时，MR 的 ApplicationMaster会根据mapred-site.xml配置文件中的配置，将MR Job的job history信息保存到指定的hdfs路径（首先保存到临时目录，然后mv到最终目录）

b）如果在yarn-site.xml中，没有配置nodemanage的 LogAggregation功能，则historyserver无法提供mr日志明细查询的功能（在提交mr job时，yarn和mapred的配置都是必须的）

c）historyserver向外提供两个接口，web接口可以提供jobhistory和明细日志查询的功能，而restApi只提供jobhistory查询的功能（注意上图中的数据流向指针的颜色）

d）jobhistory具体包含的信息，可以查询：
http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html#Elements_of_the_historyInfo_object