hadoop2.0(yarn)

原hadoop1.0的JobTracker和TaskTracker不见了,取而代之的是ResourceManager,ApplicationMaster,NodeManager三部分。

JobTracker变成了ResourceManager,ApplicationMaster
TaskTracker变成NodeManager

在yarn中Job概念换成了application应用程序

几个job,从节点就启动几个AM,运行在RM以外的从节点上

RM怎么知道资源的:
1.提交任务,指定多少资源
2.NodeManager通过心跳,回传NodeManger上的资源信息

AM负责向RM申请启动container,Container只是使用NM上制指定资源的权利,AM必须向NM提供更多的信息来启动Container , 所有的资源申请都要向RM申请。

yarn框架运行过程:
1.Client请求Resouce Manager运行一个Application Master。
2.Resoure Manager选择一个Node Manager实例,启动一个Container并运行Applicaiton Master实例。
3.Application Master 根据实际需要向Resouce Manager请求更多的Container资源。
4.Application Master通过获取到的Container资源执行分布式计算。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值