hadoop log

最新推荐文章于 2025-02-19 02:45:00 发布

原创最新推荐文章于 2025-02-19 02:45:00 发布 · 182 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

hadoop 专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了Hadoop环境中日志文件的组织结构，包括用户程序的日志（使用log4j实现）、datanode进程的日志输出、标准输出等，并解释了如何通过$JOB_ID_CONF.xml获取特定作业的属性信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 user log (用户程序中的log信息, 用log4j实现的) :
$HADOOP_HOME/logs/userlogs/$JOB_ID/attempt_*/syslog

2 在$HADOOP_HOME/logs目录下:

hadoop-$user-datanode-$hostname.log
在$hostname这台机器上启动datanode进程的时候的日志输出, 由log4j实现
hadoop-$user-datanode-$hostname.out
在$hostname这台机器上启动datanode进程的时候的标准输出

类似的还有
hadoop-$user-namenode-$hostname.log
hadoop-$user-namenode-$hostname.out
hadoop-$user-jobtracker-$hostname.log
hadoop-$user-jobtracker-$hostname.out
hadoop-$user-tasktracker-$hostname.log
hadoop-$user-tasktracker-$hostname.out

$JOB_ID_CONF.xml 中可以查到某个job的属性信息

[quote]http://www.cnblogs.com/gpcuster/archive/2009/08/21/1551715.html[/quote]