hadoop架构详解（hdfs,yarn,mpreduce）

一：HDFS架构模型

 HDFS 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成，分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分。

Client：就是客户端。

       1、文件切分。文件上传 HDFS 的时候，Client 将文件切分成 一个一个的Block，然后进行存储。

       2、与 NameNode 交互，获取文件的位置信息。

      3、与 DataNode 交互，读取或者写入数据。

       4、Client 提供一些命令来管理 HDFS，比如启动或者关闭HDFS。

       5、Client 可以通过一些命令来访问 HDFS。

NameNode：就是 master，它是一个主管、管理者。

      1、管理 HDFS 的名称空间。

       2、管理数据块（Block）映射信息

       3、配置副本策略

      4、处理客户端读写请求。

DataNode：就是Slave。NameNode 下达命令，DataNode 执行实际的操作。

       1、存储实际的数据块。

       2、执行数据块的读/写操作。

Secondary NameNode：并非 NameNode 的热备。当NameNode 挂掉的时候，它并不能马上替换 NameNode 并提供服务。

       1、辅助 NameNode，分担其工作量。

      2、定期合并 fsimage和fsedits，并推送给NameNode。

       3、在紧急情况下，可辅助恢复 NameNode。

二：如何读取文件

HDFS的文件读取原理，详细解析如下：

     1、首先调用FileSystem对象的open方法，其实获取的是一个DistributedFileSystem的实例。

         2、DistributedFileSystem通过RPC(远程过程调用)获得文件的第一批block的locations，同一block按照重复数会返回多个locations，这些locations按照Hadoop拓扑结构排序，距离客户端近的排在前面。

     3、前两步会返回一个FSDataInputStream对象，该对象会被封装成 DFSInputStream对象，DFSInputStream可以方便的管理datanode和namenode数据流。客户端调用read方 法，DFSInputStream就会找出离客户端最近的datanode并连接datanode。

           4、数据从datanode源源不断的流向客户端。

          5、如果第一个block块的数据读完了，就会关闭指向第一个block块的datanode连接，接着读取下一个block块。这些操作对客户端来说是透明的，从客户端的角度来看只是读一个持续不断的流。

         6、如果第一批block都读完了，DFSInputStream就会去namenode拿下一批blocks的location，然后继续读，如果所有的block块都读完，这时就会关闭掉所有的流。 

三：如何写入文件

HDFS的文件写入原理详细步骤解析：

      1.客户端通过调用 DistributedFileSystem 的create方法，创建一个新的文件。

      2.DistributedFileSystem 通过 RPC（远程过程调用）调用 NameNode，去创建一个没有blocks关联的新文件。创建前，NameNode 会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，NameNode 就会记录下新文件，否则就会抛出IO异常。

      3.前两步结束后会返回 FSDataOutputStream 的对象，和读文件的时候相似，FSDataOutputStream 被封装成 DFSOutputStream，DFSOutputStream 可以协调 NameNode和 DataNode。客户端开始写数据到DFSOutputStream,DFSOutputStream会把数据切成一个个小packet，然后排成队列 data queue。

      4.DataStreamer 会去处理接受 data queue，它先问询 NameNode 这个新的 block 最适合存储的在哪几个DataNode里，比如重复数是3，那么就找到3个最适合的 DataNode，把它们排成一个 pipeline。DataStreamer 把 packet 按队列输出到管道的第一个 DataNode 中，第一个 DataNode又把 packet 输出到第二个 DataNode 中，以此类推。

      5.DFSOutputStream 还有一个队列叫 ack queue，也是由 packet 组成，等待DataNode的收到响应，当pipeline中的所有DataNode都表示已经收到的时候，这时akc queue才会把对应的packet包移除掉。

      6.客户端完成写数据后，调用close方法关闭写入流。

      7.DataStreamer 把剩余的包都刷到 pipeline 里，然后等待 ack 信息，收到最后一个 ack 后，通知 DataNode 把文件标示为已完成

四：YARN的架构

yarn主要由 ResourceManager，NodeManager，ApplicationMaster和Container

ResourceManager（RM）

RM是全局资源管理器，负责整个系统的资源管理和分配。

主要由两个组件组成：调度器和应用 程序管理器（ASM）

调度器

调度器根据容量，队列等限制条件，将系统中的资源分配给各个正在运行的应用程序

不负责具体应用程序的相关工作，比如监控或跟踪状态

不负责重新启动失败任务

资源分配单位用“资源容器”resource Container表示

Container是一个动态资源分配单位，它将内存，CPU,磁盘，网络等资源封装在一起，从而限定每个任务的资源量

调度器是一个可插拔的组件，用户可以自行设计

YARN提供了多种直接可用的调度器，比如fair Scheduler和Capacity Scheduler等。

应用程序管理器

负责管理整个系统中所有应用程序

ApplicationMaster(AM)

用户提交的每个应用程序均包含一个AM

AM的主要功能

与RM调度器协商以获取资源（用Container表示）

将得到的任务进一步分配给内部的任务

与NM通信以自动/停止任务

监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务

当前YARN自带了两个AM实现

一个用于演示AM编写方法的实例程序distributedshell

一个用于Mapreduce程序---MRAppMaster

其他的计算框架对应的AM正在开发中，比如spark等。

Nodemanager（NM）和Container

NM是每个节点上的资源和任务管理器

定时向RM汇报本节点上的资源使用情况和各个Container的运行状态

接收并处理来自AM的Container启动/停止等各种要求

Container是YARN中的资源抽象，它封装了某个节点上的多维度资源

YARN会为每个任务分配一个Container，且改任务只能使用该Container中描述的资源

Container不同于MRv1的slot，它是一个动态资源划分单位，是根据应用程序的需求动态产生的

yarn的工作流程

1：由客户端提交一个应用，由RM的ASM接受应用请求

提交过来的应用程序包括哪些内容：

a:ApplicationMaster

b:启动Applicationmaster的命令

c:本身应用程序的内容

2:提交了三部分内容给RM，然后RM找NodeManager,然后

Nodemanager就启用Applicationmaster，并分配Container

接下来我们就要执行这个任务了，

3:但是执行任务需要资源，所以我们得向RM的ASM申请执行任务的资源（它会在ＲＭ这儿注册一下，说我已经启动了，注册了以后就可以通过RM的来管理，我们用户也可以通过ＲＭ的ｗｅｂ客户端来监控任务的状态）ＡＳＭ只是负责APplicationMaster的启用

4::我们注册好了后，得申请资源，申请资源是通过第四步，向ResourceScheduler申请的

5:申请并领取资源后，它会找Nodemanager，告诉他我应经申请到了，然后Nodemanager判断一下，

6:知道他申请到了以后就会启动任务，当前启动之前会准备好环境，

7:任务启动以后会跟APplicationmaster进行通信，不断的心跳进行任务的汇报。

8:完成以后会给ＲＭ进行汇报，让RSM撤销注册。然后RSM就会回收资源。当然了，我们是分布式的，所以我们不会只跟自己的Nodemanager通信。也会跟其他的节点通信。

五：MpReduce编程模型（wordcount为例）