Hadoop：配置任务执行的历史服务器

历史服务器

原因不配重启集群

以前执行的任务不见了

1）配置mapred-site.xml
vim mapred-site.xml
在该文件里面增加如下配置。

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

2）分发配置
xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
3）在hadoop102启动历史服务器
mapred --daemon start historyserver
4）查看历史服务器是否启动
jps
5）查看JobHistory
http://hadoop102:19888/jobhistory

点击进去到

不能查看到历史信息的内容

配置日志的聚集

1）配置yarn-site.xml
vim yarn-site.xml
在该文件里面增加如下配置。

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2）分发配置
xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml
3）关闭NodeManager 、ResourceManager和HistoryServer
sbin/stop-yarn.sh
mapred --daemon stop historyserver
4）启动NodeManager 、ResourceManage和HistoryServer
start-yarn.sh
mapred --daemon start historyserver
5）删除HDFS上已经存在的输出文件(可以通过页面删除)
hadoop fs -rm -r /output
6）执行WordCount程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
7）查看日志
（1）历史服务器地址
http://hadoop102:19888/jobhistory
（2）历史任务列表

注意

配置日志的聚集只对配置以后的任务执行有效
以前任务执行日志还是不能直接查看