MapReduce三种分区方法

本文介绍了MapReduce中的三种分区方式:默认分区、自定义分区及全局排序。默认分区使用HashPartitioner类实现,自定义分区需继承Partitioner类并实现getPartition()方法,而全局排序则在所有数据收集完毕后进行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

何时分区


当map函数输出数据到循环内存缓冲区,数据达到循环内存缓冲区的阀值时,会将数据溢写到文件中,在写入文件之前会对数据进行分区

分区分类及如何实现

第一种:默认分区

            系统自动调用HashPartitioner类进行分区,原码如下:


该类通过继承Partitioner类实现分区,将key的哈希值与integer的最大值做&运算,并%1来设置分区

第二种:自定义分区

         1、   创建一个类并继承Partitioner类<K,V>

            K-------------map函数的输出key类型

            V-------------map函数的输出value类型

        2、实现getPartition()方法,在该方法中设置分区逻辑

第三种:全局排序

全局排序细节

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值