Hadoop

1.Hadoop三大结构及其各自作用
HDFS 提供了分布式存储功能,确保数据的高可靠性和高吞吐量存储。
MapReduce 提供了分布式计算框架,通过并行处理大规模数据集,实现高效的数据处理。
YARN 提供了资源管理和任务调度功能,确保集群资源的高效利用和应用程序的顺利运行。

2.yarn的定义
YARN 是 Hadoop 的资源管理框架,它负责管理和调度集群中的计算资源,并为各种分布式应用程序提供资源分配和任务调度服务。
YARN 的设计目标是提高资源利用率、支持多种计算框架,并提供灵活的资源调度策略。

3.yarn的三大组件及各自作用
ResourceManager(RM):资源管理:决定资源分配。应用程序管理
NodeManager(NM):资源管理:监控节点上的资源使用情况,保证节点的稳定运行。
                                       任务执行:负责启动和管理容器
                                      日志管理:负责管理应用程序的日志文件,确保日志文件的存储和访问。
ApplicationMaster(AM):资源请求:向 ResourceManager 请求资源,获取足够的资源来运行应用程序的任务。
                                          任务管理:负责启动和管理应用程序的任务,并确保任务的正常执行。
                                          状态报告:汇报应用程序的运行状态和资源使用情况,进行资源调度和管理。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值