日志聚集功能配置

当我们想要查看hadoop的日志文件时点击logs

出现这种情况，翻译下来就是：未启用聚合。在 hadoop104：33157 上试用节点管理器
或查看 http://hadoop104:8042/node/application/application_1648280451890_0001 上的应用程序日志。简单来说就是没有配置日志的聚集功能。

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

下面就开始开启日志聚集功能。

[hadoop@hadoop102 hadoop-3.1.3]$ cd etc/hadoop/ 
[hadoop@hadoop102 hadoop]$ vim yarn-site.xml 

进入 etc/hadoop 编辑yarn。site.xml文件

按i进行编辑插入如下代码。

在该文件里面增加如下配置。
<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

完成后 ：wq退出。

利用xsync脚本分发到其他机器中

[hadoop@hadoop102 hadoop]$ xsync yarn-site.xml 

关闭102的historymananger

[hadoop@hadoop102 hadoop-3.1.3]$ mapred --daemon stop historyserver

重启hadoop103的yarn 

[hadoop@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[hadoop@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh 

 启动historymanager

[hadoop@hadoop102 hadoop-3.1.3]$ mapred --daemon start historyserver

ok已经配置完成 我们测试一下

执行WordCount程序

再进入开始的页面点击logs，我们看一下有什么反应

 已经可以看到日志

 OK教程结束，感谢大家的观看，如有问题请指正，作者还在学习阶段，请多海涵。