产生背景:Mapreduce 1.0 固有问题
JobTracker 负责作业调度,资源管理,向TaskTracker发送任务。
TaskTracker 负责本届点资源管理,任务管理,向JobTracker发送本节点资源使用情况及运行状态。
性能瓶颈+单点故障+单一框架---->YARN的产生,提高资源利用率。
YARN基本架构(master-slave结构)
ResourceManager负责集群资源管理调度,将资源分配给应用程序,应用程序将资源分配Container启动Task任务。
Client->ResourseManager->NodeManager->AppMaster->Container->Task
YARN具有容错性:ResourceManager主从替换、Nodemanager重启决策、ApplicationMaster失败重启
运行在YARN上的计算框架:
离线计算框架:MapReduce
DAG计算框架:Tez
流式计算框架:Storm
内存计算框架:Spark