Hadoop高级编程之:Combiner,对MR程序进行优化。

本文深入解析Combiner与Reducer的关系,阐述Combiner作为Reducer在Map端的执行特性,强调其对数据传输无影响,且在多数场景下与Reducer逻辑相同,但不完全等同。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.Combiner的本质就是Reducer。
2.是执行在Map端的Reducer。
3.程序中是否使用Combiner不能影响正常的Map到Reduce的数据传输;其实就是Combiner数据输入的K和V的数据类型与其数据输出的K和V的数据类型一致。【数据从Map交给Reduce的时候,Map的输出K和V的数据类型与Reduce输入的K和V的数据类型一致。】
4.如果程序中的Reducer的数据输入的K和V的数据类型与数据输出的K和V的数据类型一致的时候,该Reducer可以直接作为Combiner来使用;一般情况下,Combiner的逻辑和Reducer的逻辑一般无二。
5.一般情况Combiner和Reducer的计算逻辑【过程】是一致的,但是Reducer不一定能直接作为Combiner来使用,跟需求有关,此时,只能自定义Combiner。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值