hadoop jobhistory开启流程

本文详细介绍了如何配置和使用Hadoop的JobHistoryServer,包括修改mapred-site.xml文件来启用服务,以及如何查看已完成的MapReduce作业的历史记录。此外,还解释了如何解决日志聚合功能不可用的问题,通过在yarn-site.xml中添加配置来启用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

hadoop jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下,默认情况下是没有启动的,需要配置完后手工启动服务。
1.mapred-site.xml添加如下配置,根据自身情况修改用户名,下面是我的配置(用户名zq)

<property>
  <name>mapreduce.jobhistory.address</name>
  <value>zq:10020</value>
  <description>MapReduce JobHistory Server IPC host:port</description>
</property>

<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>zq:19888</value>
  <description>MapReduce JobHistory Server Web UI host:port</description>
</property>

<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/history/done</value>
</property>

<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/history/done_intermediate</value>
</property>

先关闭yarn服务,再开启yarn服务.

root@zq-PC:/home/zq/hadoop-2.6.0-cdh5.7.0/sbin# ./stop-yarn.sh
root@zq-PC:/home/zq/hadoop-2.6.0-cdh5.7.0/sbin# ./start-yarn.sh

3.
启动history-server:

root@zq-PC:/home/zq/hadoop-2.6.0-cdh5.7.0/sbin# ./mr-jobhistory-daemon.sh start historyserver

在这里插入图片描述
重新上传一下:

root@zq-PC:/home/zq/hadoop-2.6.0-cdh5.7.0/sbin# hadoop jar /home/zq/lib/HDFS_Test-1.0-SNAPSHOT.jar MapReduce.WordCount2App hdfs://zq:8020/hello.txt hdfs://zq:8020/output/wc

点击history,成功显示历史记录(展现了每个job使用的Map/Reduce的数量、作业提交时间、作业启动时间、作业完成时间、Job ID、提交人User、队列等信息)
在这里插入图片描述
在这里插入图片描述

点击logs发现如下情况:
在这里插入图片描述
在这里插入图片描述
显示聚合功能不可用,需要手动开启

解决方法: yarn-site.xml添加如下配置

<property>  
    <name>yarn.log-aggregation-enable</name>  
    <value>true</value>  
</property> 

再次重启(上面提到过的,先关后开,不过应用程序会消失,要再次上传即可)yarn即可。
这个日志信息对于出错定位还是很有帮助的

停止history-server:

root@zq-PC:/home/zq/hadoop-2.6.0-cdh5.7.0/sbin# ./mr-jobhistory-daemon.sh stop historyserver
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值