Hadoop Yarn初探

最新推荐文章于 2024-11-12 01:08:29 发布

原创

最新推荐文章于 2024-11-12 01:08:29 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

Hadoop YARN作为Hadoop 2.x中的资源管理系统，解决了Hadoop 1.x中资源管理和作业控制的局限性，提高了扩展性和资源利用率。YARN采用Master/Slave结构，ResourceManager作为Master负责全局资源管理和调度，NodeManager作为Slave管理节点资源。ApplicationMaster负责应用程序的跟踪和管理，与ResourceManager交互申请资源。YARN的工作流程包括应用程序提交、资源分配、任务启动和监控。YARN的引入使得集群能够支持多种计算框架。

前言

经过多年的发展形成了Hadoop1.X生态系统，其结构如下图所示：
这里写图片描述
其mapReduce的结构如下：

从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路：
1. 用户程序 (JobClient) 提交了一个 job，job 的信息会发送到 Job Tracker 中，Job Tracker 是 Map-reduce 框架的中心，他需要与集群中的机器定时通信 (heartbeat), 需要管理哪些程序应该跑在哪些机器上，需要管理所有 job 失败、重启等操作。
2. TaskTracker 是 Map-reduce 集群中每台机器都有的一个部分，他做的事情主要是监视自己所在机器的资源情况。
3. TaskTracker 同时监视当前机器的 tasks 运行状况。TaskTracker 需要把这些信息通过 heartbeat 发送给 JobTracker，JobTracker 会搜集这些信息以给新提交的 job 分配运行在哪些机器上。上图虚线箭头就是表示消息的发送 - 接收的过程。
如果上图看不清，可以看下面这个：
这里写图片描述

但是这种架构带来了很多局限性，表现在如下方面：
1. 扩展性差。JobTracker同时兼备了资源管理和作业控制两个功能，这成为系统的一个最大瓶颈，严重制约了Hadoop集群扩展性。
2. 可靠性差。MRv1采用了master/slave结构，其中，master存在单点故障问题，一旦它出现故障将导致整个集群不可用。
3. 资源利