hadoop配置历史服务器&&配置日志聚集

最新推荐文章于 2024-07-10 09:27:44 发布

原创最新推荐文章于 2024-07-10 09:27:44 发布 · 364 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #linux

学习笔记专栏收录该内容

62 篇文章

订阅专栏

本文介绍如何配置Hadoop的历史服务器及查看作业历史信息，并详细说明了启用日志聚集功能的方法，包括必要的配置步骤及服务重启流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

配置历史服务器

1、在mapred-site.xml中写入一下配置

<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop101:19888</value>
</property>

2、查看启动历史服务器文件目录

在Hadoop安装目录中的sbin中有mr-jobhistory-daemon.sh命令

3、启动历史服务器

mr-jobhistory-daemon.sh start historyserver

4、查看历史服务器是否启动jps是否有historymanager进程

5、查看 jobhistory

http://192.168.1.101:19888/jobhistory

配置日志聚集

1、配置yarn-site.xml文件

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>