YARN 资源管理
关注
分享
扫一扫
文章平均质量分 84
本专栏详细的介绍了YARN作为资源管理器的一些架构角色，执行流程，节点通信等相应功能以及功能如何实现，作为知识整理的一种方式，将集群的基础组件重新熟悉一遍，方便以后的集群、应用的调优工作
通凡
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
YARN回顾（七）——Spark在YARN上的运行模式
Spark On Yarn在YARN上启动Spark应用有两种模式。在cluster模式下，Spark驱动器（driver）在YARN Application Master中运行（运行于集群中），因此客户端可以在Spark应用启动之后关闭退出。而client模式下，Spark驱动器在客户端进程中，这时的YARN Application Master只用于向YARN申请资源。1 clus...原创 2018-08-14 18:41:24 · 505 阅读 · 0 评论 -
YARN回顾（六）——调度器
在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Scheduler，Fair Scheduler。FIFO SchedulerFIFO Scheduler把应用按提交的顺序排成一个队列，这是一个先进先出队列，在进行资源分配的时候，先给队列中最头上的应用进行分配资源，待最头上的应用需求满足后再给下一个分配，以此类推。Capacity Scheduler...原创 2018-08-14 18:24:11 · 279 阅读 · 0 评论 -
YARN回顾（五）——通信协议
一、YARN通信协议YARN通信协议，RPC协议是连接各个组件的“大动脉”，了解不同组件之间的RPC协议有助于我们更深入地学习YARN框架。在YARN中，任何两个需相互通信的组件之间仅有一个RPC协议，而对于任何一个RPC协议，通信双方有一端是Client，另一端为Server，且Client总是主动连接Server的，因此，YARN实际上采用的是拉式(pull-based)通信模型。如图，箭...原创 2018-08-14 17:04:16 · 1380 阅读 · 0 评论 -
YARN回顾（四）——CPU资源隔离
yarn默认只管理内存资源,虽然也可以申请cpu资源,但是在没有cpu资源隔离的情况下效果并不是太好.在集群规模大,任务多时资源竞争的问题尤为严重，还好yarn提供的LinuxContainerExecutor可以通过cgroup来隔离cpu资源。一、cgroupcgroup是系统提供的资源隔离功能,可以隔离系统的多种类型的资源,yarn只用来隔离cpu资源1.1 安装cgro...转载 2018-08-14 16:24:25 · 2166 阅读 · 0 评论 -
YARN回顾（三）——资源管理、配置
一、YARN的资源管理1、资源调度和隔离是yarn作为一个资源管理系统，最重要且最基础的两个功能。资源调度由resourcemanager完成，而资源隔离由各个nodemanager实现。2、Resourcemanager将某个nodemanager上资源分配给任务（这就是所谓的“资源调度”）后，nodemanager需按照要求为任务提供相应的资源，甚至保证这些资源应具有独占性，为任务运行...原创 2018-08-14 15:44:51 · 551 阅读 · 0 评论 -
YARN回顾（二）——作业执行流程
一、YARN的执行流程YARN最为主流的集群管理平台，现已成为大数据处理的平台的主流管理框架，包括storm、Hadoop、spark等都支持，而运行在YARN上的应用程序主要分为两类：短应用程序和长应用程序，其中，短应用程序是指一定时间内(可能是秒级、分钟级或小时级，尽管天级别或者更长时间的也存在，但非常少)可运行完成并正常退出的应用程序，比如MapReduce作业、Spark作业(非str...原创 2018-08-14 15:23:08 · 1046 阅读 · 0 评论 -
YARN回顾（一）——相关概念
一、YARN基本服务组件 YARN全称yet another resources negotiator，是Hadoop 2.0中的资源管理系统，它的基本设计思想是由于MapReduce v1中的JobTracker管理的事情太多，负载太重，所以将其拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster...原创 2018-08-14 14:52:48 · 602 阅读 · 0 评论