hadoop jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下,默认情况下是没有启动的,需要配置完后手工启动服务。
1.mapred-site.xml添加如下配置,根据自身情况修改用户名,下面是我的配置(用户名zq)
<property>
<name>mapreduce.jobhistory.address</name>
<value>zq:10020</value>
<description>MapReduce JobHistory Server IPC host:port</description>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>zq:19888</value>
<description>MapReduce JobHistory Server Web UI host:port</description>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/history/done</value>
</property>
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/history/done_intermediate</value>
</property>
先关闭yarn服务,再开启yarn服务.
root@zq-PC:/home/zq/hadoop-2.6.0-cdh5.7.0/sbin# ./stop-yarn.sh
root@zq-PC:/home/zq/hadoop-2.6.0-cdh5.7.0/sbin# ./start-yarn.sh
3.
启动history-server:
root@zq-PC:/home/zq/hadoop-2.6.0-cdh5.7.0/sbin# ./mr-jobhistory-daemon.sh start historyserver
重新上传一下:
root@zq-PC:/home/zq/hadoop-2.6.0-cdh5.7.0/sbin# hadoop jar /home/zq/lib/HDFS_Test-1.0-SNAPSHOT.jar MapReduce.WordCount2App hdfs://zq:8020/hello.txt hdfs://zq:8020/output/wc
点击history,成功显示历史记录(展现了每个job使用的Map/Reduce的数量、作业提交时间、作业启动时间、作业完成时间、Job ID、提交人User、队列等信息)
点击logs发现如下情况:
显示聚合功能不可用,需要手动开启
解决方法: yarn-site.xml添加如下配置
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
再次重启(上面提到过的,先关后开,不过应用程序会消失,要再次上传即可)yarn即可。
这个日志信息对于出错定位还是很有帮助的
停止history-server:
root@zq-PC:/home/zq/hadoop-2.6.0-cdh5.7.0/sbin# ./mr-jobhistory-daemon.sh stop historyserver