6、YARN 与 MapReduce 技术详解

YARN 与 MapReduce 技术详解

1. YARN 容器日志访问与聚合

1.1 容器日志访问方式

若 YARN 应用能识别容器 ID 及其执行主机，可通过以下两种方式访问容器日志：
- NodeManager UI ：使用 URL http://<nodemanager-host>:8042/node/containerlogs/<container-id>/<username> 访问。
- SSH 连接 ：通过 SSH 连接到执行容器的从节点，访问容器日志目录 $yarn.nodemanager.log-dirs/<application-id>/<container-id> 。

1.2 容器日志聚合

1.2.1 问题与解决方案

• 问题 ：将容器日志聚合到 HDFS 并管理其保留策略。
• 解决方案 ：使用 YARN 内置的日志聚合功能。

1.2.2 日志聚合原理

Hadoop 1 缺乏日志聚合功能，日志存储在各从节点本地，访问不便且易因磁盘空间管理策略丢失。Hadoop 2 支持日志聚合，默认该功能禁用，需将 yarn.log-aggregation-enable 设置为 true