hadoop2.2 MapReduce and yarn(一)

1. MapReduce前后框架对比:


2. MapReduce主要操作对象

Driver:是一个很重要的内容,主要负责MapReduce job的初始化,它定义了job的配置 输入输出格式 使用的combiner和partitioner.

Context:drivers mappers reducers...的上下文环境.

InputData:

InputFormat:

InputSplit:定义一个map任务的数据,分布式InputData由很多个Input Split组成.

RecordReader:从数据源读取数据到hdfs

Mapper:

Partition

Shuffle:从map 输出数据流到reducers就叫shuffling

Sort

Reducer

OutputFormat

RecordWriter

Combiner

DistributedCache


3. YARN RPC协议:


4. YARN应用程序的设计:

a) 在YARN运行的应用程序主要有两类:短应用程序(能在预知的时间内完成的,如:MapReduce)和长应用程序;

b) YARN框架中的维护进程:ResourceManager(ApplicationsManager & ResourceScheduler)和NodeManager,客户端的程序向ResourceManager提交ApplicationMaster查询应用程序运行状态,ApplicationMaster向ResourceManager申请资源(Container)并通知NameNode启动Container,ApplicationMaster同时监控任务的运行状态,在失败时重新申请资源.

c) YARN应用下涉及的RPC协议:ApplicationClientProtocol & ApplicationMasterProtocol & ContainerManagementProtocol


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值