简要mapReduce中的shuffle过程

本文详细介绍了MapTask和ReduceTask的工作机制,特别是在MapTask中,数据经过Read、Map、Collect、Spill(包括排序、合并、压缩)和Combine阶段,最终形成有序的输出文件。ReduceTask则经历Copy、Merge、Sort和Reduce阶段,完成数据的聚合和处理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、MapTask工作机制

(1)Read阶段:MapTask通过用户编写的RecordReader,从输入InputSplit中解析出一个个key/value。

(2)Map阶段:该节点主要是将解析出的key/value交给用户编写map()函数处理,并产生一系列新的key/value。

(3)Collect收集阶段:在用户编写map()函数中,当数据处理完成后,一般会调用OutputCollector.collect()输出结果。在该函数内部,它会将生成的key/value分区(调用Partitioner),并写入一个环形内存缓冲区中。

(4)Spill阶段:即“溢写”,当环形缓冲区满后,MapReduce会将数据写到本地磁盘上,生成一个临时文件。需要注意的是,将数据写入本地磁盘之前,先要对数据进行一次本地排序,并在必要时对数据进行合并、压缩等操作。

溢写阶段详情:

步骤1:利用快速排序算法对缓存区内的数据进行排序,排序方式是,先按照分区编号partition进行排序,然后按照key进行排序。这样,经过排序后,数据以分区为单位聚集在一起,且同一分区内所有数据按照key有序。

步骤2:按照分区编号由小到大依次将每个分区中的数据写入任务工作目录下的临时文件output/spillN.out(N表示当前溢写次数)中。如果用户设置了Combiner,则写入文件之前,对每个分区中的数据进行一次聚集操作。

步骤3:将分区数据的元信息写到内存索引数据结构SpillRecord中,其中每个分区的元信息包括在临时文件中的偏移量、压缩前数据大小和压缩后数据大小。如果当前内存索引大小超过1MB,则将内存索引写到文件output/spillN.out.index中。

(5)Combine阶段:当所有数据处理完成后,MapTask对所有临时文件进行一次合并,以确保最终只会生成一个数据文件。

当所有数据处理完后,MapTask会将所有临时文件合并成一个大文件,并保存到文件output/file.out中,同时生成相应的索引文件output/file.out.index。

在进行文件合并过程中,MapTask以分区为单位进行合并。对于某个分区,它将采用多轮递归合并的方式。每轮合并io.sort.factor(默认100)个文件,并将产生的文件重新加入待合并列表中,对文件排序后,重复以上过程,直到最终得到一个大文件。

让每个MapTask最终只生成一个数据文件,可避免同时打开大量文件和同时读取大量小文件产生的随机读取带来的开销。

2、ReduceTask工作机制

(1)Copy阶段:ReduceTask从各个MapTask上远程拷贝一片数据,并针对某一片数据,如果其大小超过一定阈值,则写到磁盘上,否则直接放到内存中。

(2)Merge阶段:在远程拷贝数据的同时,ReduceTask启动了两个后台线程对内存和磁盘上的文件进行合并,以防止内存使用过多或磁盘上文件过多。

(3)Sort阶段:按照MapReduce语义,用户编写reduce()函数输入数据是按key进行聚集的一组数据。为了将key相同的数据聚在一起,Hadoop采用了基于排序的策略。由于各个MapTask已经实现对自己的处理结果进行了局部排序,因此,ReduceTask只需对所有数据进行一次归并排序即可。

(4)Reduce阶段:reduce()函数将计算结果写到HDFS上。

### 环形缓冲区在 Shuffle 过程中的具体作用及原理 #### 1. **环形缓冲区的作用** 环形缓冲区在 Shuffle 过程中主要用于临时存储 Map 阶段产生的中间键值对数据。这些数据会被写入到内存中的环形缓冲区,当缓冲区达到一定阈值(通常为80%[^3])时,触发溢写操作,即将缓冲区内的部分或全部数据刷写到磁盘上。 - 缓冲区内存管理优化:通过使用环形缓冲区,可以最大限度地利用有限的内存资源,提高内存利用率。 - 数据预处理支持:在将数据从缓冲区写入磁盘前,会对数据进行分区、排序和可选的合并操作,从而减少后续 Reduce 阶段的工作负载。 - 提升性能:由于采用了生产者-消费者模型,写入线程负责向缓冲区写入新数据,而读取线程则负责从缓冲区读取已准备好的数据并将其写入磁盘,这种并发设计显著提升了整体效率。 #### 2. **环形缓冲区的设计与工作原理** ##### (1) **物理结构与逻辑特性** - 物理上是一个连续分配的内存块,由两部分组成:数据区域和索引区域[^4]。 - 数据区域用于实际存储键值对。 - 索引区域记录了每条记录的相关元信息,如 `value` 起始位置、`key` 起始位置、所属分区编号及其长度等。 - 逻辑上表现为一个闭环队列形式,借助双指针技术实现循环覆盖功能: - 写指针 (`write`) 表示当前待写入的新数据位置; - 读指针 (`read`) 指明正在被消费的数据起点; - 另外设置一标志位 `index` 来标记最近一次已完成刷盘动作所涉及范围末端坐标。 ##### (2) **运行机制详解** - 当 Map 函数生成新的 `<key,value>` 对时,它们依次追加至环形缓冲区尾部,并同步更新对应的索引项。 - 如果检测到缓冲区占用率超过设定上限,则启动后台线程执行如下任务序列: 1. 停止进一步接收新增项目直至现有批次完全处置完毕; 2. 执行本地组合器(如果配置启用的话),尝试局部聚合相同 key 下关联 value 数组; 3. 根据目标 Reducer 总数实施初步分类划分; 4. 完成内部稳定性排序算法调用,确保同属一组别的所有实体均依序排列; 5. 将整理妥当的结果集逐片导出保存成为独立临时文件片段;与此同时调整相关控制变量状态以便恢复常规作业流运转节奏。 ```python def spill_to_disk(buf, read_ptr, write_ptr): """ Simulates the process of spilling data from a circular buffer to disk. Args: buf (list): The circular buffer containing kv pairs and metadata. read_ptr (int): Pointer indicating where reading starts within the buffer. write_ptr (int): Pointer showing current writing position inside the buffer. Returns: None """ index_end = write_ptr while True: if read_ptr != index_end: # Extract data between read pointer up until but excluding end point defined by 'index' segment_data = extract_segment(buf, read_ptr, index_end) # Perform partitioning & sorting on extracted chunk before saving it onto persistent storage medium like HDD/SSD etc... sorted_partitioned_chunk = perform_operations(segment_data) save_on_disk(sorted_partitioned_chunk) advance_read_pointer() else: break ``` #### 3. **总结说明** 综上所述,Hadoop 的 MapReduce 架构里引入了基于内存高效使用的环形缓冲方案作为连接 Mapper 和最终输出之间的桥梁环节。它不仅能够有效缓解因频繁交互带来的 I/O 开销压力问题,而且还能预先完成诸如归类汇总之类的准备工作,进而大幅简化下游节点面临的复杂度挑战。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值