Hadoop ApplcaitionMaster:

本文详细介绍了Hadoop中ApplicationMaster的角色及职责,包括资源管理、任务监控、容错处理等功能,并探讨了其如何提高系统的可伸缩性和灵活性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Hadoop ApplcaitionMaster::

LD is tigger forever,CG are not brothers forever, throw the pot and shine forever.
Modesty is not false, solid is not naive, treacherous but not deceitful, stay with good people, and stay away from poor people.
talk is cheap, show others the code,Keep progress,make a better result.
Survive during the day and develop at night。

目录

概述

Hadoop ApplcaitionMaster:
单个作业的资源管理和任务监控
具体功能描述:
1.计算的应用的资源需求,资源可以是静态的或动态计算的,静态的一般是clien申请时就指定了,动态则需要applicationmaster根据引用的运行状态来决定
2.根据谁来申请对应的位置资源(Data Locality)
3.向ResourceManager申请资源,与NodeManager进行程序的运行和监控,监控申请的资源的使用情况,监控作业进度
4.跟踪任务状态和进度,定时向ResourceManger发送心跳消息,报告资源的使用情况和应用的进度信息
5.负责本作业的任务的容错
APPlicationMaster可以使用任何的语言编写的程序,他和ReesourceManager 和NodeManager之间是通过ProtolBuf交互,以前时候一个全局的JobTracker负责的,现在每个作业都一个,可伸缩性更强,至少不会因为作业太多,造成JobTracker瓶颈。同时将作业的逻辑放到一个独立的ApplicationMaster中,使得灵活性更加高,每个作业都可以有自己的处理方式,不用绑定到MapReduce的处理模式上上。
如何计算资源需求:
一般的MapReduce是根据block数量来定Map和Reduce的计算数量,然后一般的Map或Reduce就占用一个Contianer
如何发现数据的本地化
数据本地化是通过HDFS的block分片信息获取的。

小结:

参考资料和推荐阅读

1.链接: 参考资料.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值