43、YARN 应用开发全解析：从基础到高级特性

YARN 应用开发全解析：从基础到高级特性

1. 本地化与日志目录保留

在 YARN 应用中， yarn.nodemanager.delete.debug-delay-sec 配置属性控制着应用的本地化目录和日志目录的保留时长。本地化目录包含了 NodeManager 启动容器（包括 ApplicationMaster 和应用容器）所执行的命令，以及应用为容器指定的任何 JAR 文件和其他本地化资源。

建议将此属性设置为一个足够长的值，以便有足够的时间诊断故障。但不要将该值设置得过高（例如以天为单位），因为这可能会给存储带来压力。

2. 使用非托管 ApplicationMaster 进行调试

2.1 问题与挑战

调试 YARN 的 ApplicationMaster 是一项具有挑战性的任务，因为它在远程节点上启动，需要从该节点拉取日志来排查代码问题。由 ResourceManager 启动的 ApplicationMaster 被称为托管 ApplicationMaster。

2.2 解决方案：非托管 ApplicationMaster

YARN 支持非托管 ApplicationMaster 的概念，即 ApplicationMaster 在本地节点上启动。这样，当 ApplicationMaster 在本地主机上运行时，更容易诊断其问题。

2.3 操作步骤

YARN 附带了一个名为 UnmanagedAMLauncher 的应用程序，用于启动非托管 ApplicationMaster。使用 UnmanagedA