企业级Hadoop 2.x入门系列之四HDFS文件系统和YARN资源管理框架简介

3. HDFS架构简介

u   NameNode是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间,副本数,文件权限），以及每个文件的块列表和块所在DataNode等。

u   DataNode 在本地文件系统存储文件块数据，以及块数据的校验和。

u   Secondary NameNode 用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

4. YARN架构简介

 

u  ResourceManager

Ø  处理客户端请求

Ø  启动/监控ApplicationMaster

Ø  监控NodeManager

Ø  资源分配与调度

u   NodeManager

Ø  单个节点上的资源管理

Ø  处理来自ResourceManager的命令

Ø  处理来自ApplicationMaster的命令

u  ApplicationMaster

Ø  数据切分

Ø  为应用程序申请资源，并分配给内部任务

Ø  任务监控与容错

u   Container

Ø  对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息