原hadoop1.0的JobTracker和TaskTracker不见了,取而代之的是ResourceManager,ApplicationMaster,NodeManager三部分。
JobTracker变成了ResourceManager,ApplicationMaster
TaskTracker变成NodeManager
在yarn中Job概念换成了application应用程序
几个job,从节点就启动几个AM,运行在RM以外的从节点上
RM怎么知道资源的:
1.提交任务,指定多少资源
2.NodeManager通过心跳,回传NodeManger上的资源信息
AM负责向RM申请启动container,Container只是使用NM上制指定资源的权利,AM必须向NM提供更多的信息来启动Container , 所有的资源申请都要向RM申请。
yarn框架运行过程:
1.Client请求Resouce Manager运行一个Application Master。
2.Resoure Manager选择一个Node Manager实例,启动一个Container并运行Applicaiton Master实例。
3.Application Master 根据实际需要向Resouce Manager请求更多的Container资源。
4.Application Master通过获取到的Container资源执行分布式计算。