yarn 日志聚集配置

.    日志聚集相关配置参数

日志聚集是YARN提供的日志中央化管理功能,它能将运行完成的Container/任务日志上传到HDFS上,从而减轻NodeManager负载,且提供一个中央化存储和分析机制。默认情况下,Container/任务日志存在在各个NodeManager上,如果启用日志聚集功能需要额外的配置。

(1) yarn.log-aggregation-enable

参数解释:是否启用日志聚集功能。

默认值:false

(2) yarn.log-aggregation.retain-seconds

参数解释:在HDFS上聚集的日志最多保存多长时间。

默认值:-1

(3) yarn.log-aggregation.retain-check-interval-seconds

参数解释:多长时间检查一次日志,并将满足条件的删除,如果是0或者负数,则为上一个值的1/10。

默认值:-1

(4) yarn.nodemanager.remote-app-log-dir

参数解释:当应用程序运行结束后,日志被转移到的HDFS目录(启用日志聚集功能时有效)。

默认值:/tmp/logs

(5) yarn.log-aggregation.retain-seconds

参数解释:远程日志目录子目录名称(启用日志聚集功能时有效)。

默认值:日志将被转移到目录

${yarn.nodemanager.remote-app-log-dir}/${user}/${thisParam}下

### Hadoop 配置日志设置教程及日志管理 Hadoop 日志管理是集群运维的重要组成部分,通过配置日志可以查看和管理集群的运行状态、错误信息以及调试信息。以下是关于 Hadoop 配置日志的相关说明。 #### 1. Hadoop 日志的组成 Hadoop 日志主要由以下几部分构成:应用程序日志、系统日志和审计日志。应用程序日志记录了应用程序的执行过程和结果;系统日志记录了 Hadoop 系统本身的运行状态;审计日志则记录了用户的操作行为[^1]。 #### 2. 启动历史服务器并生成日志文件 在启动 Hadoop 历史服务器时,日志文件会被生成到指定路径。例如,在启动历史服务器时,日志会保存到 `/opt/module/hadoop-2.7.5/logs/mapred-xuzhenchao-historyserver-hadoop101.out` 文件中[^2]。为了确保日志能够被正确查看,需要确保历史服务器正常运行。 #### 3. 配置日志聚集功能 日志聚集功能可以通过修改 Hadoop 配置文件来实现。以下是关键配置项: - 开启日志聚集功能: ```xml <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> ``` - 设置日志聚集服务器地址: ```xml <property> <name>yarn.log.server.url</name> <value>http://hadoop102:19888/jobhistory/logs</value> </property> ``` - 设置日志保留时间为 7 天(以秒为单位): ```xml <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property> ``` 完成上述配置后,重启 YARN 和历史服务器以使配置生效[^4]。 #### 4. 执行 WordCount 程序并验证日志 通过运行 WordCount 示例程序,可以验证日志配置是否正确。执行命令如下: ```bash hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /data/hadoop/input/ /data/hadoop/output/ ``` 运行完成后,可以在日志聚集服务器上查看生成的日志文件[^5]。 #### 5. 日志管理的重要性 Hadoop 日志管理不仅有助于诊断问题,还能帮助优化系统性能和监控集群状态。通过合理配置日志级别和存储策略,可以有效减少磁盘占用并提升系统效率[^1]。 ```python # 示例代码:检查日志文件是否存在 import os log_file = "/opt/module/hadoop-2.7.5/logs/mapred-xuzhenchao-historyserver-hadoop101.out" if os.path.exists(log_file): print("日志文件存在") else: print("日志文件不存在") ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值