Shuffle 机制

本文围绕Hadoop中Map到Reduce间的Shuffle机制展开。介绍了Partition分区,包括自定义步骤和分区结果与ReduceTask数量的关系;阐述了WritableComparable排序,如排序概述、分类(部分排序、全排序等)、Combiner合并及GroupingComparator分组;还提及了Shuffle机制的相关内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 概述

  • Map 方法之后,Reduce 方法之前的数据处理过程称之为 Shuffle。

2. Partition 分区

  • 需求:要求将统计结果按照条件输出到不同文件中(分区)。比如:将统计结果按照手机归属地,不同省份输出到不同文件中(分区)。
// 默认 Partitioner 分区
public class HashPartitioner<K, V> extends Partitioner<K, V> {
    public int getPartition(K key, V value, int numReduceTasks) {
      return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
    }
}
2.1 自定义 Partitioner 步骤
// 1. 自定义类继承 Partitioner, 重写 getPartition() 方法
public class CustomPartitioner extends Partitioner<Text, FlowBean> {
    
    @Override
    public int getPartition(Text key, FlowBean value, int numPartitions) {
      // 控制区代码逻辑

      ......
    }
}

// 2. 在 Job 驱动中,设置自定义 Partitioner
job.setPartitionerClass(CustomPartitioner.class);

// 3. 自定义 Partition 后,要根据自定义 Partitioner 的逻辑设置相应数量的 ReduceTask
job.setNumReduceTasks(自定义的数量);
2.2 分区总结
  • 如果 ReduceTask 的数量大于getPartition的结果数,则会多产生几个空的输出文件 part-r-000xx;
  • 如果1<ReduceTask的数量<getPartition的结果数,则有一部分分区数据无处安放,会产生IOException;
  • 如果ReduceTask的数量为1,则不管MapTask端输出多少个分区文件,最终结果都交给这一个ReduceTask,最终也就只会产生一个结果文件 part-r-00000;
  • 分区号必须从开始,逐一累加。

3. WritableComparable 排序

  • MapTask 和 ReduceTask 均会对数据按照key进行排序。该操作属于Hadoop的默认行为。任何应用程序中的数据均会被排序,而不管逻辑上是否需要。
  • 默认排序是按照字典顺序排序,且实现该排序的方法是快速排序。
3.1 排序概述
  • MapTask:它会将处理的结果暂时放到环形缓冲区中,当环形缓冲区使用率达到一定阈值后,再对缓冲区中的数据进行一次快速排序,并将这些有序数据溢写到磁盘上,而当数据处理完毕后,它回对磁盘上所有文件进行归并排序。
  • ReduceTask:它从每个MapTask上远程拷贝相应的数据文件,如果文件大小超过一定阈值,则溢写到磁盘上,否则存储在内存中。如果磁盘上文件数目达到一定阈值,则进行一次归并排序以生成一个更大的文件;如果内存中文件大小或者数目超过一定阈值,则进行一次合并后将数据溢写到磁盘上。当所有数据拷贝完毕后,ReduceTask 统一对内存和磁盘上的所有数据进行一次归并排序。
3.1 排序分类
  • 部分排序
    • MapReduce 根据输入记录的键对数据集排序。保证输出的每个文件内部有序。
  • 全排序
    • 最终输出结果只有一个文件,且文件内部有序。实现方式是只设置一个ReduceTask。但该方法在处理大型文件时效率极低,因为一台机器处理所有文件,完全丧失了MapReduce所提供的并行架构。
  • 辅助排序(GroupingComparator 分组)
    • 在Reduce端对key进行分组。应用于:在接收的key为bean对象时,想让一个或几个字段相同(全部字段比较不相同)的key进入到同一个reduce方法时,可以采用分组排序。
  • 二次排序
    • 在自定义排序过程中,如果compareTo中的判断条件为两个即为二次排序。
3.2 Combiner 合并
  • Combiner是MR程序中Mapper和Reducer之外的一种组件;
  • Combiner组件的父类就是Reducer;
  • Combiner和Reducer的区别在于运行的位置:
    • Combiner是在每一个MapTask所在的节点运行;
    • Reducer是接收全局所有Mapper的输出结果;
  • Combiner的意义就是对每一个MapTask的输出进行局部汇总,以减少网络传输量。
  • Combiner能够应用的前提是不能影响最终的业务逻辑,而且,Combiner的输出kv应该跟Reducer的输入kv类型要对应起来;
3.3 GroupingComparator 分组(辅助排序)
  • 对Reduce阶段的数据根据某一个或几个字段进行分组。
// 分组排序步骤:
// 1. 自定义类继承 WritableComparator
// 2. 重写 compare()方法
// 3. 创建一个构造将比较对象的类传给父类

4. Shuffle 机制

1222878-20190531201910017-2137600436.jpg

转载于:https://www.cnblogs.com/linkworld/p/10957311.html

### Shuffle机制的原理与实现 Shuffle机制是分布式计算框架(如Spark和Hadoop MapReduce)中的核心组件之一,它负责在不同阶段之间进行数据的重新分布。以下是关于Shuffle机制的原理与实现的详细说明。 #### 1. Shuffle机制的定义与作用 Shuffle机制的核心功能是对Map阶段的输出进行分区、排序和聚合,并将结果传递给Reduce阶段。这种机制确保了数据能够按照特定的规则分布在不同的节点上,从而实现并行处理[^1]。 #### 2. 普通运行机制 在普通运行机制下,Shuffle会经历以下几个关键步骤: - **分区**:根据键值对的哈希值或其他逻辑,将数据分配到不同的分区中。 - **排序**:对每个分区内的数据按照键值进行排序。 - **合并**:将相同键的数据合并为一个列表或迭代器,以减少内存占用和网络传输量。 - **写入磁盘**:如果数据量较大,中间结果会被写入本地磁盘以释放内存资源[^1]。 #### 3. Bypass运行机制Shuffle读取任务的数量小于等于`spark.shuffle.sort.bypassMergeThreshold`参数的值(默认为200)时,系统会启用Bypass机制。在这种情况下,数据直接被写入磁盘而不经过排序和合并操作,从而减少了不必要的计算开销[^1]。 #### 4. 数据传输优化策略 为了提高Shuffle过程中的性能,通常会采用以下几种优化策略: - **局部性原理**:尽可能在同一台机器上完成分区和排序操作,以减少网络开销和数据传输时间[^2]。 - **数据压缩**:通过压缩技术减少网络传输的数据量,提升传输效率[^2]。 - **并行处理**:利用多核处理器和并行计算能力加速分区和排序操作,进一步提高整体性能[^2]。 #### 5. 分组排序的实现思路 在某些场景下,需要自定义分组规则以满足特定的业务需求。例如,在MapReduce程序中,可以通过实现`WritableComparable`接口来定义对象的比较逻辑。此外,还可以通过定义分组辅助排序规则,使得具有相同属性的JavaBean对象被视为同一个Key[^3]。 #### 示例代码 以下是一个简单的分组排序实现示例,展示了如何通过自定义比较器来控制分组逻辑: ```java public class CustomComparator implements WritableComparator { protected CustomComparator() { super(MyKey.class, true); } @Override public int compare(WritableComparable a, WritableComparable b) { MyKey key1 = (MyKey) a; MyKey key2 = (MyKey) b; // 根据自定义逻辑比较两个对象 return key1.getAttribute().compareTo(key2.getAttribute()); } } ``` ### 总结 Shuffle机制的实现涉及多个复杂步骤,包括分区、排序、合并以及数据传输等。通过合理的优化策略和自定义分组规则,可以显著提升其性能和灵活性[^1]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值