Mapreduce基础

mapreduce共有八个步骤,map阶段2个步骤,shuffle阶段4个步骤,reduce阶段分为2个步骤

用InputFormat:TextInputFormat类将读取文件

K1是文本偏移量,V1是文本 

 Map:1.自定义Map逻辑,将K1和V1转为K2和V2

          2.继承Mapper,重写map方法

        得出的V2全固定为1,忽视重复值

将重复值组合,得出新的V2为<1,1,1>(表示出现3次) 

Reduce:1.自定义Reduce逻辑,将K2和V2转为K3和V3

             2.继承Reducer,重写reduce方法

        将V2的<1,1,1>转为3的形式

用OutputFormat:TextOutputFormat类将结果存入一个普通文本文件

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值