企业级Hadoop 2.x入门系列之十MapReduce 程序相关日志

MapReduce 程序相关日志

u  MapReduce 程序日志分为历史作业日志和Container日志。

u  历史作业的记录里面包含了一个作业用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。可以通过这些历史作业记录得到每天有多少个作业运行成功、有多少个作业运行失败、每个队列作业运行了多少个作业等很有用的信息。

u  Container日志包含ApplicationMaster 日志和普通Task日志等信息，默认情况下，日志存放在${HADOOP_HOME}/logs/userlogs目录下。

1、历史作业配置

<!-- MapReduce Applicaiton Master 运行的数据目录     -->

<property>

     <name>yarn.app.mapreduce.am.staging-dir</name>

     <value>/tmp/hadoop-yarn/staging</value>

     <description>Thestaging dir used while submitting jobs.

     </description>

</property>

<!-- 历史作业日志记录，存储在HDFS上的路径  -->

<property>

     <name>mapreduce.jobhistory.intermediate-done-dir</name>

     <value>${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value>

</property>

 

<property>

     <name>mapreduce.jobhistory.done-dir</name>

     <value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>

</property>

2、container日志目录配置

<!-- container 日志目录  -->

<property>

     <name>yarn.nodemanager.log-dirs</name>

     <value>${yarn.log.dir}/userlogs</value>

</property>