Hadoop组成概述

Hadoop主要由HDFS、Mapreduce、yarn三部分组成，hdfs负责分布式文件数据的存储，yarn复杂资源的调度，mapreduce负责运算。

一、hdfs架构

namenode：存储文件的元数据信息

datanode：存储真实数据

2nn：对namenode的元数据进行备份

二、yarn架构

resourceManager：整个集群资源（内存 cpu等）的老大

nodeManager：单个节点服务器的老大

ApplicationMaster：单个任务运行的老大

container：节点中虚拟出来的容器，有自己的cpu 内存等任务运行所需的资源

三、mapreduce架构

mapTask：多个maptask并行处理输入数据

reduceTask：对map阶段数据进行汇总

四、HDFS、Mapreduce、yarn三者之间的关系、工作流程

（1）客户端向集群提交mr任务

（2）resourceManager选取一个节点，开辟一个容器container，运行applicationMaster

（3）applicationMaster向resourceManager申请运行所需的集群资源

（4）resourceManager分配有空闲资源的节点，开启container，在容器中运行mapTask（可以多个并行）

（6）同样也会开启容器运行reduceTask，对map阶段运行的结果进行汇总

（5）reduceTask将任务运行结果写入到datanode上进行保存，并将元数据存储到namenode上

（6）随后2nn也进行了元数据的备份