如何确定hadoop的mapreduce运行的日志存放在哪里？

最新推荐文章于 2024-05-12 21:25:50 发布

原创

最新推荐文章于 2024-05-12 21:25:50 发布 · 5.3k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

本文介绍了如何查找Hadoop MapReduce任务的运行日志。日志主要存储在配置的`yarn.nodemanager.remote-app-log-dir`路径下，默认为`/tmp/logs`。通过检查`yarn.log-aggregation-enable`属性来确认日志聚合是否开启，最终的日志路径为`/tmp/logs/${user}/logs/applicationId/日志文件名称`。

有时候想看mr的运行日志，比如在mr中放入了一些log，那么这些log要从哪里查看呢？接下来笔者阐述一下自己的理解。

1. 通过配置文件确认属性yarn.nodemanager.remote-app-log-dir 的值，如下：
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/tmp/logs</value>
<source>yarn-default.xml</source>
</property
yarn.nodemanager.remote-app-log-dir的官方原意是：Where to aggregate logs to.
通过配置可以确认是在hdfs上的/tmp/logs 目录下

那么如何确定yarn.nodemanager.remote-app-log-dir这个参数有效？可以通过yarn.log-aggregation-enable属性确认，

<property>
<name>yarn.log-aggregation-enable</na