Hadoop配置日志的聚集——jobhistory不显示任务问题

问题:

一开始job history是正常的,配置了日志的聚集以后不管做什么任务都不显示任务,hdfs是正常运行,而且根据配置步骤都重启过了。

下面先po出日志聚集的操作步骤,再讲问题
1.配置yarn-site.xml

cd $HADOOP_HOME/etc/hadoop
vim yarn-site.xml

添加如下代码

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property
### Hadoop 配置日志设置教程及日志管理 Hadoop 日志管理是集群运维的重要组成部分,通过配置日志可以查看和管理集群的运行状态、错误信息以及调试信息。以下是关于 Hadoop 配置日志的相关说明。 #### 1. Hadoop 日志的组成 Hadoop 日志主要由以下几部分构成:应用程序日志、系统日志和审计日志。应用程序日志记录了应用程序的执行过程和结果;系统日志记录了 Hadoop 系统本身的运行状态;审计日志则记录了用户的操作行为[^1]。 #### 2. 启动历史服务器并生成日志文件 在启动 Hadoop 历史服务器时,日志文件会被生成到指定路径。例如,在启动历史服务器时,日志会保存到 `/opt/module/hadoop-2.7.5/logs/mapred-xuzhenchao-historyserver-hadoop101.out` 文件中[^2]。为了确保日志能够被正确查看,需要确保历史服务器正常运行。 #### 3. 配置日志聚集功能 日志聚集功能可以通过修改 Hadoop 配置文件来实现。以下是关键配置项: - 开启日志聚集功能: ```xml <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> ``` - 设置日志聚集服务器地址: ```xml <property> <name>yarn.log.server.url</name> <value>http://hadoop102:19888/jobhistory/logs</value> </property> ``` - 设置日志保留时间为 7 天(以秒为单位): ```xml <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property> ``` 完成上述配置后,重启 YARN 和历史服务器以使配置生效[^4]。 #### 4. 执行 WordCount 程序并验证日志 通过运行 WordCount 示例程序,可以验证日志配置是否正确。执行命令如下: ```bash hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /data/hadoop/input/ /data/hadoop/output/ ``` 运行完成后,可以在日志聚集服务器上查看生成的日志文件[^5]。 #### 5. 日志管理的重要性 Hadoop 日志管理仅有助于诊断问题,还能帮助优化系统性能和监控集群状态。通过合理配置日志级别和存储策略,可以有效减少磁盘占用并提升系统效率[^1]。 ```python # 示例代码:检查日志文件是否存在 import os log_file = "/opt/module/hadoop-2.7.5/logs/mapred-xuzhenchao-historyserver-hadoop101.out" if os.path.exists(log_file): print("日志文件存在") else: print("日志文件存在") ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值