42、构建和运行 YARN 应用程序：从基础到实践

构建和运行 YARN 应用程序：从基础到实践

1. 引言

在大数据处理领域，YARN（Yet Another Resource Negotiator）是 Hadoop 生态系统中至关重要的资源管理框架。它允许用户在集群上高效地运行各种应用程序。本文将详细介绍如何构建和运行一个简单的 YARN 应用程序，该应用程序将启动一个容器来执行 vmstat Linux 命令。

2. YARN 基础概述

在开始编写 YARN 应用程序之前，了解一些基本概念是很有必要的。NodeManager 负责从 HDFS 下载请求中标识的任何本地资源（包括应用程序所需的库或分布式缓存中的文件）。一旦这些文件下载完成，NodeManager 就会启动容器进程。

下面是 YARN 应用程序的主要组件及其交互的概述：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A(ResourceManager):::process --> B(ApplicationMaster):::process
    B --> C(NodeManager):::process
    D(YARN client):::process --> A
    C --> E(vmstat):::process
    B --> C(Fork new container)
    B --> A(Request a container)
    C