Yarn---资源调度框架

Yarn,作为Hadoop的重要组成部分,使Hadoop从单一计算引擎发展为全面的大数据平台。它包含资源管理器和节点管理器,分别负责资源调度管理和本地资源与任务管理,有效解耦资源调度与计算框架。
	Hadoop主要由三部分组成,一是分布式文件系统HDFS、而是分布式计算框架MapReduce、三是分布式集群资源调度框架Yarn。Yarn并不是随Hadoop的推出就有的,而是伴随Hadoop的发展,使Hadoop从一个单一的大数据计算引擎,成为一个集存储、计算、资源管理为一体的完整大数据平台。
	在MapReduce应用程序的启动过程中,最重要的就是把MapReduce程序分发到大数据集群的服务器上,在Hadoop1中,这个过程主要是通过TaskTracker和JobTracker通信来完成。但是缺点是服务器集群资源调度管理和MapReduce执行过程耦合在一起,如果想在当前集群中运行其他计算任务,比如Spark或Storm,就无法统一使用集群中的资源了。
	Yarn是“Yet Another Resource Negotiator”的缩写,意思是“另一种资源调度器”。Yarn包括两个部分:一个是资源管理器(Resource Manager),另一个是节点管理器(Node Manager)。这也是Yarn的两种主要进程:ResourceManager进程负责整个集群的资源调度管理,通常部署在独立的服务器上;NodeManager进程负责具体服务器上的资源和任务管理,在集群的每一台计算服务器上都会启动,基本上跟HDFS的DataNode进程一起处理。
	具体来说,资源管理器又包括两个主要组件:调度器和应用程序管理器。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值