hadoop jobhistory开启流程

最新推荐文章于 2025-05-05 16:10:20 发布

原创最新推荐文章于 2025-05-05 16:10:20 发布 · 1.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#MapReduce

hadoop大数据平台学习总结同时被 2 个专栏收录

20 篇文章

订阅专栏

大数据平台Hadoop生态系统

16 篇文章

订阅专栏

本文详细介绍了如何配置和使用Hadoop的JobHistoryServer，包括修改mapred-site.xml文件来启用服务，以及如何查看已完成的MapReduce作业的历史记录。此外，还解释了如何解决日志聚合功能不可用的问题，通过在yarn-site.xml中添加配置来启用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下，默认情况下是没有启动的，需要配置完后手工启动服务。
１.mapred-site.xml添加如下配置，根据自身情况修改用户名，下面是我的配置(用户名zq)

<property>
  <name>mapreduce.jobhistory.address</name>
  <value>zq:10020</value>
  <description>MapReduce JobHistory Server IPC host:port</description>
</property>

<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>zq:19888</value>
  <description>MapReduce JobHistory Server Web UI host:port</description>
</property>

<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/history/done</value>
</property>

<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/history/done_intermediate</value>
</property>

先关闭yarn服务,再开启yarn服务．

root@zq-PC:/home/zq/hadoop-2.6.0-cdh5.7.0/sbin# ./stop-yarn.sh
root@zq-PC:/home/zq/hadoop-2.6.0-cdh5.7.0/sbin# ./start-yarn.sh

３．
启动history-server：

root@zq-PC:/home/zq/hadoop-2.6.0-cdh5.7.0/sbin# ./mr-jobhistory-daemon.sh start historyserver

在这里插入图片描述
重新上传一下：

root@zq-PC:/home/zq/hadoop-2.6.0-cdh5.7.0/sbin# hadoop jar /home/zq/lib/HDFS_Test-1.0-SNAPSHOT.jar MapReduce.WordCount2App hdfs://zq:8020/hello.txt hdfs://zq:8020/output/wc

点击history，成功显示历史记录(展现了每个job使用的Map/Reduce的数量、作业提交时间、作业启动时间、作业完成时间、Job ID、提交人User、队列等信息)
在这里插入图片描述

点击logs发现如下情况：
在这里插入图片描述

显示聚合功能不可用，需要手动开启

解决方法： yarn-site.xml添加如下配置

<property>  
    <name>yarn.log-aggregation-enable</name>  
    <value>true</value>  
</property>

再次重启(上面提到过的，先关后开,不过应用程序会消失，要再次上传即可)yarn即可。
这个日志信息对于出错定位还是很有帮助的

停止history-server：

root@zq-PC:/home/zq/hadoop-2.6.0-cdh5.7.0/sbin# ./mr-jobhistory-daemon.sh stop historyserver