关于yarn和Hadoop

Apache Hadoop 和 Apache YARN（Yet Another Resource Negotiator）是大数据处理生态系统中的两个重要组件，它们之间紧密相关，但各自有不同的职责和功能。以下是对 Hadoop 和 YARN 的详细介绍，以及它们之间的关系。
1. Hadoop
Hadoop 是一个开源的分布式计算框架，用于处理大规模数据集。它主要由两个核心组件组成：
• Hadoop Distributed File System (HDFS)：用于存储大规模数据的分布式文件系统。
• Hadoop MapReduce：用于分布式计算的编程模型。
1.1 HDFS
HDFS 是 Hadoop 的分布式文件系统，设计用于高吞吐量、高容错性和高扩展性。它将文件分割成多个块（Block），并分散存储在多个节点上，以确保数据的可靠性和可用性。
• 特点：
◦ 高容错性：通过在多个节点上存储多个副本，确保数据的可靠性。
◦ 高吞吐量：适合大规模数据的读写操作。
◦ 高扩展性：可以通过增加节点来扩展存储容量。
• 架构：
◦ NameNode：管理文件系统的元数据，如文件的路径、块的位置等。
◦ DataNode：存储实际的数据块。
1.2 MapReduce
MapReduce 是 Hadoop 的分布式计算模型，用于处理大规模数据集。它通过两个主要阶段（Map 和 Reduce）来完成计算任务。
• Map 阶段：对输入的键值对进行处理，生成中间结果。
• Reduce 阶段：对中间结果进行归并，生成最终结果。
2. YARN
YARN 是 Hadoop 的资源管理系统，负责集群资源的管理和调度。它允许多个应用程序共享集群资源，从而提高集群的利用率。
2.1 YARN 的主要组件
• ResourceManager (RM)：管理整个集群的资源，负责资源的分配和调度。
• NodeManager (NM)：运行在每个节点上，管理节点的资源（如 CPU、内存）。
• ApplicationMaster (AM)：每个应用程序的主节点，负责向 ResourceManager 申请资源，并与 NodeManager 协作启动和管理任务。
2.2 YARN 的工作流程
1. 提交应用程序：用户提交应用程序到 ResourceManager。
2. 资源分配：ResourceManager 为应用程序分配资源。
3. 任务启动：ApplicationMaster 向 NodeManager 请求启动任务。
4. 任务执行：NodeManager 在节点上启动任务，任务执行完成后，将结果返回给 ApplicationMaster。
5. 任务完成：ApplicationMaster 通知 ResourceManager 任务完成，释放资源。
3. Hadoop 和 YARN 的关系
Hadoop 和 YARN 是互补的：
• HDFS 提供存储：HDFS 用于存储大规模数据，为 MapReduce 和其他计算框架提供数据支持。
• YARN 提供资源管理：YARN 负责管理集群资源，调度任务，确保多个应用程序可以高效地共享资源。
• MapReduce 运行在 YARN 上：MapReduce 是 YARN 上的一个应用程序，由 YARN 调度和管理。
4. YARN 的优势
• 资源隔离：通过 YARN 的资源管理，可以实现不同应用程序之间的资源隔离，避免资源竞争。
• 多框架支持：YARN 不仅支持 MapReduce，还支持其他计算框架，如 Spark、Flink 等。
• 动态资源分配：YARN 可以根据应用程序的需求动态分配资源，提高集群的利用率。