超级会员免费看
Apache YARN是Hadoop 2.0的资源管理系统，负责集群资源统一管理和分配。ResourceManager作为核心协调者，NodeManager管理节点资源，ApplicationMaster协调任务资源，Container则封装了节点上的多维度资源。YARN的工作流程包括作业提交、初始化、任务分配、任务运行及作业完成。该框架提供高效、多租户的资源调度，支持多种计算框架。
1.hadoop yarn 简介
Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.0 引入的集群资源管理系统。用户可以将各种服务框架部署在 YARN 上，由 YARN 进行统一地管理和资源分配。
2.YARN架构
- ResourceManager
ResourceManager 通常在独立的机器上以后台进程的形式运行，它是整个集群资源的主要协调者和管理者。 ResourceManager 负责给用户提交的所有应用程序分配资源，它根据应用程序优先级、队列容量、ACLs、数据位置等信息，做出决策，然后以共享的、安全的、多租户的方式制定分配策略，调度集群资源。
- NodeManager
NodeManager 是 YARN 集群中的每个具体节点的管理者。主要负责该节点内所有容器的生命周期的管理，监视资源和跟踪节点健康。具体如下：
- 启动时向 ResourceManager 注册并定时
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
