查看YARN上应用的日志之JobHistory

0x00 教程内容

1. JobHistory介绍
2. 背景演示
3. 实验步骤

0x01 JobHistory介绍

1. 作用

a. 记录已经运行完的MaprReduce作业信息到HDFS的目录上（默认是不开启的）

0x02 背景演示

1. 执行MapReduce作业

a. 参考文章：MapReduce入门例子之单词计数的代码
b. 执行MapReduce作业：
yarn jar hadoop-learning-1.0.jar com.shaonaiyi.hadoop.WordCount hdfs://master:9999/files/put.txt hdfs://master:9999/output/wc/

2. YARN界面查看

a. 打开Web UI界面
http://master:8088
b. 点击RUNNING、FINISHED
RUNNING：在执行的时候可以看到作业，执行完之后只能在FINISHED里面看到。

3. 查看YARN作业的日志

a. 当作业跑完之后，进入FINISHED，点击作业的History，会发现无法访问，这就是我们需要解决的问题：

0x03 实验步骤

1. 配置JobHistory

a. 修改配置文件（$HADOOP_HOME/etc/hadoop/mapred-site.xml）：
进入操作文件目录：
cd $HADOOP_HOME/etc/hadoop/
vi mapred-site.xml

<property>
	<name>mapreduce.jobhistory.address</name>
	<value>master:10020</value>
	<description>MapReduce JobHistory Server IPC host:port</description>
</property>

<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>master:19888</value>
  <description>MapReduce JobHistory Server Web UI host:port</description>
</property>

<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/history/done</value>
</property>

<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/history/done_intermediate</value>
</property>

b. 添加配置（$HADOOP_HOME/etc/hadoop/yarn-site.xml）：

<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>

c. 同步配置文件到slave1、slave2：
scp mapred-site.xml yarn-site.xml hadoop-sny@slave1:~/bigdata/hadoop-2.7.5/etc/hadoop/
scp mapred-site.xml yarn-site.xml hadoop-sny@slave2:~/bigdata/hadoop-2.7.5/etc/hadoop/

2. 启动JobHistory

a. 重启YARN（master上执行）
stop-yarn.sh
start-yarn.sh
a. 启动JobHistory（master上执行）
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
b. 查看master进程，发现JobHistory的进程已经存在了：
jps

3. 校验JobHistory

a. 重新提交作业，等待运行完，点击FINISHED里面作业的History，进入界面后可在下面两个链接找到日志入口logs：



b. 同样，在配置的文件目录下也可以看到生成了文件：
hadoop fs -ls /history
一直点进去可以看到有两种文件：
该目录下将存在3个文件，分别是以“.jhist”、和“.xml”结尾的文件，分别表示作业运行日志和作业配置属性

0xFF 总结

1. 停止JobHistory的history-server的命令为：
   $HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver
2. 配置有多种方式，我这里提供的是我总结的比较好的方式。

作者简介：邵奈一
大学大数据讲师、大学市场洞察者、专栏编辑
公众号、微博、优快云：邵奈一

复制粘贴玩转大数据系列专栏已经更新完成，请跳转学习！