apache hadoop 2

Hadoop 2.x在1.x基础上进行了重大改进,引入HDFS Federation提高水平扩展性,通过多个独立Namenodes实现数据管理。同时,下一代MapReduce(YARN/MRv2)将JobTracker功能分离为ResourceManager和ApplicationMaster,分别负责资源管理和应用调度。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

apache hadoop 2.x 是在1.x版本上做了重大的改进。

以下是一个关于HDFS和MapReduce的简短的改进概述。

 

HDFS Federation

为了提升name service 的水平扩展性,federation使用多个独立的Namenodes/Namespaces。Namenodes独立运行且不需要与其他namenode协作运行。datanodes为所有namenode提供通用的blocks存储服务。每个datanode注册到集群中所有的namenode上。datanode发送heartbeats、block reports和执行从namenode传来的命令。

 

下一代MapReduce,又名YARN或MRv2

新的架构在hadoop-0.23已经介绍过了,把jobtracker划分成两个主要功能:resource management和job 生命周期管理组件。

新的ResourceManager负责计算机全部资源的分配工作,每个应用的ApplicationMaster管理应用调度和协作工作。

一个应用可以是在原mapreduce那样单一的job或者一组有序任务。

ResourceManager 和每个机器的NodeManager守护进程,负责管理机器上的用户进程,形成计算模型。

实际上每个应用的ApplicationMaster是架构中具体的library,负责向ResourceManager 协调资源,与NodeManager(s)一起协作完成任务执行和监控的工作。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值