YARN文档概述

本文深入探讨了YARN的结构及其在资源管理、作业调度与监控方面的核心功能,同时详细介绍了Hadoop的两种调度方式:Capacity Scheduler与Fair Scheduler,用于多租户资源的高效共享与公平分配。此外,文章还涵盖了ResourceManager的重启与高可用性配置,以及YARN中节点标签、Web应用代理、TimelineServer、YARN命令等相关组件与操作,旨在为用户构建稳定、高效的大规模集群提供全面指导。
1.YARN 结构


文档简介:
Yarn的基本思想是拆分资源管理的功能,作业调度/监控到单独的守护进程

 

英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YARN.html


2.Hadoop: Capacity 调度

文档简介
本文档介绍了capacityscheduler,hadoop可插拔scheduler 允许多租户安全共享大的集群,他们的应用在分配的能力约束下及时分配资源。

英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

3.Hadoop: Fair 调度

文档简介
这个文档描述了FairScheduler,hadoop可插拔scheduler允许yarn应用fairly共享资源在大集群。


英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/FairScheduler.html

###########################
上面两个文档详细介绍了hadoop调度方式


4.ResourceManger 重启


文档简介
ResourceManager 是中央权威,管理资源和调度应用运行YARN 。因此,潜在单点故障在YARN 集群。本文给出了概述,重启ResourceManager,一个功能提高ResourceManager 保持运行,对于终端用户使ResourceManager宕机时间不可见。

英文网址
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html



5.ResourceManager 高可用

文档简介
本指南提供了Yarn的ResourceManager高可用性概述,和详细描述了如何配置和使用这个功能。ResourceManager(RM)负责跟踪资源集群,和调度应用(等MapReduce jobs)。Hadoop 2.4之前,YARN 集群有单点故障。这个高可用功能添加冗余在一个Active/Standby ResourceManager 队的形式,移除这个,否则就是单点故障。

结构:
 

英文网址
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html



6.YARN 节点Labels

文档简介
节点标签是一种具有相似特性的组节点的方式,应用程序可以指定运行的地方。


英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/NodeLabel.html


7.Web 应用代理

文档简介
web应用代理是Yarn一部分。默认它运行作为 Resource Manager(RM)一部分,但是可以被配置为运行单机模式

英文网络:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/WebApplicationProxy.html




8.YARN Timeline Server

文档简介
存储和检索当前应用和历史信息以通用的方式在Yarn处理,通过 Timeline Server

英文网址
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/TimelineServer.html




9.Hadoop: Writing YARN 应用

文档简介
本文档描述了一个高层次的方法来实现Yarn的新应用。

英文网址
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html

10.YARN 命令

文档简介
YARN 命令被bin/yarn脚本调用。运行yarn 没有任何脚本,打印所有命令描述

英文网址:
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YarnCommands.html
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值