HDFS 和YARN HA 简介

最新推荐文章于 2021-05-19 23:43:15 发布

yo8237233

最新推荐文章于 2021-05-19 23:43:15 发布

阅读量246

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： Hadoop

本文链接：https://blog.youkuaiyun.com/yo8237233/article/details/84829942

hadoop 专栏收录该内容

11 篇文章

订阅专栏

本文详细介绍了HDFS的基础架构，包括NameNode的工作原理及其HA解决方案，并对YARN的基本组件如ResourceManager、NodeManager和ApplicationMaster的功能进行了阐述，还解释了YARN的HA架构。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HDFS：
[img]http://dl2.iteye.com/upload/attachment/0121/8139/4bc1aec8-749d-35b2-87b4-83a9572d1c58.png[/img]

基础架构
1、NameNode（Master）

1)命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。

2)块存储管理。
使用Active NameNode，Standby NameNode 两个节点可以解决单点问题，两个节点通过JounalNode共享状态，通过ZKFC 选举Active ，监控状态，自动备份。

1、Active NameNode

接受client的RPC请求并处理，同时写自己的Editlog和共享存储上的Editlog，接收DataNode的Block report, block location updates和heartbeat。

2、Standby NameNode

同样会接到来自DataNode的Block report, block location updates和heartbeat，同时会从共享存储的Editlog上读取并执行这些log操作，保持自己NameNode中的元数据（Namespcae information + Block locations map）和Active NameNode中的元数据是同步的。所以说Standby模式的NameNode是一个热备（Hot Standby NameNode），一旦切换成Active模式，马上就可以提供NameNode服务。

3、JounalNode

用于Active NameNode ， Standby NameNode 同步数据，本身由一组JounnalNode节点组成，该组节点奇数个。

4、ZKFC

监控NameNode进程，自动备份。

YARN：

[img]http://dl2.iteye.com/upload/attachment/0121/8141/45029a5f-d2fe-3cb7-bc7d-0d83c143d209.png[/img]

基础架构
1、ResourceManager(RM)

接收客户端任务请求，接收和监控NodeManager(NM)的资源情况汇报，负责资源的分配与调度，启动和监控ApplicationMaster(AM)。

2、NodeManager

节点上的资源管理，启动Container运行task计算，上报资源、container情况汇报给RM和任务处理情况汇报给AM。

3、ApplicationMaster

单个Application(Job)的task管理和调度，向RM进行资源的申请，向NM发出launch Container指令，接收NM的task处理状态信息。

4、Web Application Proxy

用于防止Yarn遭受Web攻击，本身是ResourceManager的一部分，可通过配置独立进程。ResourceManager Web的访问基于守信用户，当Application Master运行于一个非受信用户，其提供给ResourceManager的可能是非受信连接，Web Application Proxy可以阻止这种连接提供给RM。

5、Job History Server

NodeManager在启动的时候会初始化LogAggregationService服务, 该服务会在把本机执行的container log (在container结束的时候)收集并存放到hdfs指定的目录下. ApplicationMaster会把jobhistory信息写到hdfs的jobhistory临时目录下, 并在结束的时候把jobhisoty移动到最终目录, 这样就同时支持了job的recovery.History会启动web和RPC服务, 用户可以通过网页或RPC方式获取作业的信息。

HA架构
ResourceManager HA 由一对Active，Standby结点构成，通过RMStateStore存储内部数据和主要应用的数据及标记。目前支持的可替代的RMStateStore实现有：基于内存的MemoryRMStateStore，基于文件系统的FileSystemRMStateStore，及基于zookeeper的ZKRMStateStore。 ResourceManager HA的架构模式同NameNode HA的架构模式基本一致，数据共享由RMStateStore，而ZKFC成为 ResourceManager进程的一个服务，非独立存在。

集群当中 datanode 和nodemanager 理论上是相同的