hadoop 学习总结系列（二）查看日志

最新推荐文章于 2022-07-21 14:28:18 发布

原创最新推荐文章于 2022-07-21 14:28:18 发布 · 383 阅读

0 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

5 篇文章

订阅专栏

本文介绍YARN的日志聚合机制及其操作流程。当yarn.log-aggregation-enable设置为true时，应用程序执行完毕后，其日志将从各节点收集并统一存放在HDFS上，便于集中管理和查看。

如何用CLI 查看日志

yarn  logs -applicationId  ${application_Id}
可以用来查看log，当且仅当 appliation 已经执行完毕，且 yarn.log-aggregation-enable =true （默认为false）

当开启上述聚合标志后，那么yarn又是怎么操作的呢？这其中的流程是怎么样的呢？

流程如下：
1. 执行具体程序的container 把 stdout stderr 输出到本地文件系统，由参数yarn.nodemanager.log-dirs 定义
2. 当 application 执行完毕后，如果 yarn.log-aggregation-enable=true 则把本地log文件拷贝到
HDFS 中
3. HDFS 文件位置由参数 yarn.nodemanager.remote-app-log-dir 和 yarn.nodemanager.remote-app-log-dir-suffix 决定。