Hadoop mapreduce自定义分区HashPartitioner

最新推荐文章于 2024-08-18 08:42:07 发布
转载 最新推荐文章于 2024-08-18 08:42:07 发布 · 463 阅读 · 1

本文深入探讨了MapReduce中自定义分区的实现方法，通过继承HashPartitioner并重写getPartition函数，实现了根据特定关键字进行数据分区的功能，提高了数据处理的灵活性。

 在上一篇文章我写了个简单的WordCount程序，也大致了解了下关于mapreduce运行原来，其中说到还可以自定义分区、排序、分组这些，那今天我就接上一次的代码继续完善实现自定义分区。

    首先我们明确一下关于中这个分区到底是怎么样，有什么用处？回答这个问题先看看上次代码执行的结果，我们知道结果中有个文件(part-r-00000),这个文件就是所有的词的数量记录，这个时候有没什么想法比如如果我想把一些包含特殊的词放置单独的一个文件，其他我不关心的放置在另一个文件这样我就好查看方便多了，又比如如果是统计关于人的某些爱好那我是不是可以把童年的放置在一个文件，成年的放置在一个文件等等这样输出结果。是，这个倒是非常有用哦输出的结果就是最直接的了，那现在我们就来分析一下应该怎么搞怎么实现：

    我们清楚，这个输出文件是由reduce端输出的，reduce端的数据是由map函数处理完通过shufflecopy至reduce端的，然而map端的输出数量会对于reduce输入的数量，那么map端会负责划分数据，在shuffle过程中有个步骤就是分区，我们先来看看上次代码中使用的分区类HashPartitioner，看代码：

1

2

3

4

5

6

7

8

public class HashPartitioner<K, V> extends Partitioner<K, V> {

 

  /** Use {@link Object#hashCode()} to partition. */

  public int getPartition(K key, V value,

                          int numReduceTasks) {

    return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;

  }

}

这里出现了个numReduceTasks变量，这个是由哪里过来的呢，那就得看谁调用了这个方法了，看：MapTask.java就可以看到其write方法调用了，然而这个方法的partitions参数是由：

1

jobContext.getNumReduceTasks();

觉得，那我们继续找下去这个变量是由mapred.reduce.tasks配置节点决定的默认是1。那现在我们虽然不知道(key.hashCode() & Integer.MAX_VALUE)值是多少但是%1我们可以知道结果就是0；现在我来继承这个类(也可继承其父类Partitioner<K, V>)重写其getPartition方法来实现分区，看下面自定义分区MyPartition代码：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

import org.apache.hadoop.io.LongWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.lib.partition.HashPartitioner;

 

/**

 * 自定义分区类

 * @author Liang

 *

 */

public class MyPartition extends HashPartitioner<Text, LongWritable> {

    @Override

    public int getPartition(Text key, LongWritable value, int numReduceTasks) {

        return key.toString().contains("luoliang") ? 0 : 1;

    }   

}

上面重写getPartition函数，其中如果键中有字符串"luoliang"的键值就返回0否则其它返回1。执行后在(hdfs://hadoop-master:9000/mapreduce/output/)会有2个文件，一个是part-r-00000,一个是part-r-00001。part-r-00000对应的是条件key.toString().contains("luoliang")为真的！

    注意先要在mian函数中加入：

1

job.setJarByClass(Test.class);

还需要更改：

1

2

job.setPartitionerClass(MyPartition.class);

job.setNumReduceTasks(2);

再把程序打包成jar.jar文件上传至服务器使用命令运行：

1

hadoop jar jar.jar

如果本地调试或者运行会报错必须打包至服务器运行，结果会生成有那下面2个文件如下：

 

1

2

part-r-00000

part-r-00001

大数据之-Hadoop3.x_MapReduce_HashPartitioner分区---大数据之hadoop3.x工作笔记0111
添柴程序猿的专栏
12-20 499
我们通过一个案例来说明,比如我们要将135开头的手机号,放到一个文件中,将136开头的手机号, 放到另一个文件中..这个需求怎么来做. 1.首先我们来看一下hadoop的默认的分区是怎么做的,可以看到,默认进行分区的,一个类,叫做HashPartitioner,这个其实就是 可以看到,根据了来源数据的key,进行分区,可以看到这里,key.hashCode & Integer.MAX_VALUE 这个的作用是什么? 这个的作用其实很简单,可以看到用到的是与,而且与上,int的...
Hadoop 大数据处理：自定义 MapReduce 分区
AlianBlank的博客
08-29 111
默认情况下，Hadoop 使用哈希函数将 Mapper 的输出分发给 Reducer，但我们也可以自定义分区函数来更好地控制数据的分发方式。通过以上的代码示例，我们展示了如何使用自定义分区函数在 Hadoop 中实现更灵活的数据分发策略。自定义分区函数允许我们根据数据的特定属性将其分发到不同的 Reducer 中，从而实现更精细的数据处理和控制。我们将使用 Java 编程语言来编写示例代码，并通过 Hadoop 的 MapReduce 框架来执行我们的任务。配置中指定使用自定义的分区函数，并设置分区数。
Hadoop mapreduce 自定义分区 HashPartitioner
weixin_34112181的博客
01-27 179
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop里的Partitioner
weixin_33972649的博客
12-24 149
人们对于Mapreduce程序刚開始时都觉得仅仅须要一个reduce就够了。毕竟，在你处理数据之前一个reducer已经把数据都分好类了，有谁不喜欢分好类的数据呢。可是这样我们就忽略了并行计算的优势。假设仅仅有一个reducer。我们的云计算就退化成了一个小雨点。 在多个reducer的情况下，我们须要某种机制来控制mapper的结果的分配问题。这是就Partitio...
MapReduce 默认分区HashPartitioner
gjf362的博客
07-05 2300
简析mapreduce 默认的分区方式 以下就是Hadoop MapReduce中对于默认分区的源码
Hadoop之Partitioner分区
weixin_34503526的博客
03-30 631
1、HashPartitioner（Hadoop自带的默认分区） HashPartitioner源码如下： public class HashPartitioner<K2, V2> implements Partitioner<K2, V2> { public void configure(JobConf job) {} /** Use {@link Object#hashCode()} to partition. */ public int getPartit...
对比分析：MapReduce自定义分区与HashPartitioner的性能差异
MapReduce分区策略基础 MapReduce框架中的分区策略是决定数据如何在不同Reducer之间分配的关键因素。良好的分区策略能够确保负载均衡，提高计算效率，缩短作业完成时间。本章将简要介绍分区策略的概念，并为接下来...
hadoop mapreduce 自定义分组实现
qq_41854797的博客
05-20 625
hadoop mapreduce 自定义分组实现 任务要求：对流量日志进行流量统计，将不同省份的用户统计结果输出到不同的文件； 需要自定义改造两个机制： 1、改造分区的逻辑，自定义一个Partitioner类 2、自定义reducer task的并发任务数； 具体代码java： mapreduce 以及 主类代码： package com.cjp.areaPartitioner; impor...
Hadoop(十一) MapReduce Partitioner分区
最新发布
技术博客
08-18 655
mapreduce Partitioner
MapReduce自定义分区的终极指南：精通高效数据分区的10个技巧
[mapreduce默认是hashpartitioner如何自定义分区](https://img-blog.csdnimg.cn/acbc3877d8964557b2347e71c7615089.png) # 1. MapReduce自定义分区概述 MapReduce自定义分区是大数据处理中的一个重要环节，它允许...
MapReduce自定义分区：对性能影响的权威分析
[mapreduce默认是hashpartitioner如何自定义分区](https://media.geeksforgeeks.org/wp-content/uploads/20230420231217/map-reduce-mode.png) # 1. MapReduce自定义分区概述 在大数据处理领域，MapReduce已经成为...
Hadoop的Partitioner
鲍礼彬的优快云博客 ~_~
03-04 1899
Partitioner HashPartitioner、TotalOrderPartitioner、KeyFieldBasedPartitioner、BinaryPartitioner public abstract class Partitioner { public abstract int getPartition(KEY key, VALUE value, int numPa
hadoop自定义分区函数
do_what_you_can_do的博客
11-24 1842
首先我们明确一下关于中这个分区到底是怎么样，有什么用处？回答这个问题先看看上次代码执行的结果，我们知道结果中有个文件(part-r-00000),这个文件就是所有的词的数量记录，这个时候有没什么想法比如如果我想把一些包含特殊的词放置单独的一个文件，其他我不关心的放置在另一个文件这样我就好查看方便多了，又比如如果是统计关于人的某些爱好那我是不是可以把童年的放置在一个文件，成年的放置在一个文件等等这样
HADOOP IO详解——Partitioner分区
qq_26449287的博客
09-14 272
  package org.apache.hadoop.mapred; import org.apache.hadoop.classification.InterfaceAudience; import org.apache.hadoop.classification.InterfaceStability; public interface Partitioner&lt;K2, V2&gt; ...
LeetCode：颜色分类
Yubochang的博客
10-07 202
题目： 给定一个包含红色、白色和蓝色，一共n 个元素的数组，原地对它们进行排序，使得相同颜色的元素相邻，并按照红色、白色、蓝色顺序排列。 此题中，我们使用整数 0、1 和 2 分别表示红色、白色和蓝色。 注意: 不能使用代码库中的排序函数来解决这道题。 来源：力扣（LeetCode） 解： 这道题禁止使用排序函数，那么也意味着可以有别的方法。 因为颜色数字只有三个，已经确定，所以第一种方法，统计数字个数，直接重构数组，两趟O（n）完成。 这里介绍一种复杂一点的双指针算法。 我们可以想出..
hadoop系列十 ——MapReducePartitioner和自定义分区Partitioner
heartless_killer的博客
10-17 364
Partitioner Partitioner 处于 Mapper阶段，当Mapper处理好数据后，这些数据需要经过Partitioner进行分区，来选择不同的Reducer处理，从而将Mapper的输出结果均匀的分布在Reducer上面执行。 对于map输出的每一个键值对，系统都会给定一个partition，partition值默认通过计算key的hash值后对Reduce task的数量取模获...
【hadoop学习项目】6. 使用Partition自定义分区处理数据
STAR GAME
02-08 677
0. 项目结构 训练数据 phone address name consum 13877779999 bj zs 2145 13766668888 sh ls 1028 13766668888 sh ls 9987 13877779999 bj zs 5678 13544445555 sz ww 10577 13877779999 sh zs 2145 13766668888 sh ls 9987 13877779999 bj zs 2184 13766668888 sh ls 1524 13766668
Hadoop中的MapReduce框架原理、自定义Partitioner步骤、在Job驱动中，设置自定义Partitioner、Partition 分区案例
Redamancy06的博客
10-03 1498
自定义类继承Partitioner，重写getPartition()方法、自定义Partition后，要根据自定义Partitioner的逻辑设置相应数量的ReduceTask、1）如果ReduceTask的数量> getPartition的结果数，则会多产生几个空的输出文件part-r-000xx、2）如果1
Hadoop-MapReduce案例-自定义分区
weixin_42782897的博客
04-12 395
在Hadoop的MapReduce过程中，每个map task处理完数据后，如果存在自定义Combiner类，会先进行一次本地的reduce操作，然后把数据发送到Partitioner，由Partitioner来决定每条记录应该送往哪个reducer节点，默认使用的是HashPartitioner，其核心代码如下： public class HashPartitioner<K, V&...
mapreduce linux实例,Hadoop之MapReduce自定义二次排序流程实例详解
05-24
MapReduce是一种用于处理大规模数据集的编程模型和软件框架。Hadoop是一个基于MapReduce模型的分布式文件存储和处理系统。在Hadoop中，MapReduce被广泛用于数据处理和分析任务。 自定义二次排序是MapReduce中常见的一种需求，其目的是对MapReduce的输出进行排序。下面我们来介绍一下如何在Linux上使用Hadoop实现自定义二次排序。 1. 准备数据 首先我们需要准备一个数据集，假设我们有一个文本文件，每行包含两个字段，分别为学生姓名和成绩，中间用制表符分隔。例如： ``` Tom 80 Jerry 70 Mike 90 Lucy 85 ``` 2. 编写Mapper代码 自定义二次排序需要进行两次排序，第一次按照学生姓名进行排序，第二次按照成绩进行排序。因此，我们需要在Mapper中将学生姓名和成绩作为Key-Value输出。 我们可以使用TextPair类来存储学生姓名和成绩，代码如下： ``` public class SortMapper extends Mapper<LongWritable, Text, TextPair, Text> { private TextPair pair = new TextPair(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] fields = value.toString().split("\t"); pair.set(fields[0], fields[1]); context.write(pair, value); } } ``` 在这段代码中，我们首先将输入的一行数据拆分成学生姓名和成绩两个字段，然后使用TextPair类将它们作为Key输出，原始数据作为Value输出。 3. 编写Partitioner代码 Partitioner用于对Mapper的输出进行分区，以确保相同Key的数据被分配到同一个Reducer中。在自定义二次排序中，我们需要按照学生姓名进行分区，因此我们可以使用HashPartitioner来进行分区，代码如下： ``` public class SortPartitioner extends Partitioner<TextPair, Text> { public int getPartition(TextPair key, Text value, int numPartitions) { return (key.getFirst().hashCode() & Integer.MAX_VALUE) % numPartitions; } } ``` 在这段代码中，我们使用HashPartitioner将学生姓名的HashCode和Partition数取模来确定数据被分配到哪个Reducer中。 4. 编写GroupComparator代码 GroupComparator用于将相同学生姓名的数据分配到同一个Reducer中，代码如下： ``` public class SortGroupComparator extends WritableComparator { protected SortGroupComparator() { super(TextPair.class, true); } public int compare(WritableComparable a, WritableComparable b) { TextPair pair1 = (TextPair) a; TextPair pair2 = (TextPair) b; return pair1.getFirst().compareTo(pair2.getFirst()); } } ``` 在这段代码中，我们重载了compare方法，用于比较两个Key的学生姓名是否相同。 5. 编写SortComparator代码 SortComparator用于对每个Reducer中的数据进行排序，按照成绩从大到小排序，代码如下： ``` public class SortComparator extends WritableComparator { protected SortComparator() { super(TextPair.class, true); } public int compare(WritableComparable a, WritableComparable b) { TextPair pair1 = (TextPair) a; TextPair pair2 = (TextPair) b; int cmp = pair1.getFirst().compareTo(pair2.getFirst()); if (cmp != 0) { return cmp; } return -pair1.getSecond().compareTo(pair2.getSecond()); } } ``` 在这段代码中，我们首先比较两个Key的学生姓名是否相同，如果相同则比较成绩，否则直接返回姓名比较结果。 6. 编写Reducer代码 Reducer用于对Mapper的输出进行聚合和处理。在自定义二次排序中，我们只需要将每个学生的成绩按照从高到低的顺序输出即可，代码如下： ``` public class SortReducer extends Reducer<TextPair, Text, Text, Text> { public void reduce(TextPair key, Iterable<Text> values, Context context) throws IOException, InterruptedException { for (Text value : values) { context.write(key.getFirst(), value); } } } ``` 在这段代码中，我们首先输出学生姓名，然后按照原始数据的顺序输出。 7. 编写Driver代码 最后，我们需要编写Driver代码来启动MapReduce作业。代码如下： ``` public class SortDriver extends Configured implements Tool { public int run(String[] args) throws Exception { Job job = Job.getInstance(getConf()); job.setJarByClass(SortDriver.class); job.setMapperClass(SortMapper.class); job.setPartitionerClass(SortPartitioner.class); job.setGroupingComparatorClass(SortGroupComparator.class); job.setSortComparatorClass(SortComparator.class); job.setReducerClass(SortReducer.class); job.setMapOutputKeyClass(TextPair.class); job.setMapOutputValueClass(Text.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.setInputPaths(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); return job.waitForCompletion(true) ? 0 : 1; } public static void main(String[] args) throws Exception { int exitCode = ToolRunner.run(new SortDriver(), args); System.exit(exitCode); } } ``` 在这段代码中，我们首先创建一个Job实例，然后设置Mapper、Partitioner、GroupComparator、SortComparator和Reducer等类。最后，我们指定输入路径和输出路径，并启动作业。 以上就是在Linux上使用Hadoop实现自定义二次排序的流程。通过这个例子，您可以了解到如何在Linux系统上使用MapReduce编程模型和Hadoop分布式文件存储和处理系统来处理大规模数据集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值