mapreduce的shuffle过程

最新推荐文章于 2024-11-06 20:07:24 发布
原创 最新推荐文章于 2024-11-06 20:07:24 发布 · 289 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mapreduce shuffle

本文深入探讨了MapReduce中shuffle的全过程，包括map端和reduce端的shuffle操作，详细讲解了分区、排序、分组及Combiner的作用，以及环形缓冲区在maptask输出中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

shuffle:
分区，排序，分组，Combiner

map端shuffle
reduce端shuffle

文件分成几个块，就有几个切片，就启动几个maptask

例子一个300m的文件，被分成3个块
bk1：0-127m
bk2:128-255m
bk3:256-300m
存2个副本，有三个datanode节点，一个块对应一个切片启动一个maptask
在这里插入图片描述

maptask的输出结果进入到环形缓冲区
MapOutputBuffer类，描述maptask的输出
其中的几个参数：
equator 分界点
bufstart 缓冲区的起始位置
bufend 缓冲区的结束位置
bufindex 数据结束位置
byte[] kvbuffer 环形缓冲区默认是一个字节数组,
数组有一个阈值，也就是环形缓冲区的阈值，0.8，比如数组默认100m，到达80m之后开始溢写
预留的20m可以在溢写的时候持续接收maptask的接收，后面写完从头写，类似一个环装

一。map端的shuffle的过程
写入环形缓冲区的时候先进行分区
溢写的时候先进行一次快速排序
合并的时候进行一次归并排序
在这里插入图片描述
。。。

二。reduce shuffle过程
map shuffle进行完了就开始进行reduce的过程了
MRAPPMaster进行总体协调
在这里插入图片描述

MapReduce shuffle过程详解！
蔡政洁的博客
10-12 9397
目录一、MR的shuffle过程二、Map shuffle三、Reduce shuffle 一、MR的shuffle过程 MR的shuffle过程： input -> map -> shuffle -> reduce ->output MR的原理图： 二、Map shuffle 1.map()的数据会写入到内存（环形缓冲区：默认大小：100mb），当数据达到缓冲区总容量的80%（阈值）时，会将我们的数据spill到本地磁盘 1）分区（partitioner）：分
MapReduce的Shuffle过程
学习记录
04-12 4661
认识Shuffle map task：map端可以执行的一个进程 reduce task：reduce端可以执行的一个进程 shuffle是介于maptask和reducetask之间的一个过程 shuffle可以分为map端的shuffle和reduce端的shuffle mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle 具体来说：就是将map task输出的处理结果数据，分发给reduce task，并在分发的过
Shuffle机制
cipay666的博客
10-20 247
Shuffle机制 1）Map方法之后Reduce方法之前这段处理过程叫Shuffle 2）Map方法之后，数据首先进入到分区方法，把数据标记好分区，然后把数据发送到环形缓冲区；环形缓冲区默认大小100m，环形缓冲区达到80%时，进行溢写；溢写前对数据进行排序，排序按照对key的索引进行字典顺序排序，排序的手段快排；溢写产生大量溢写文件，需要对溢写文件进行归并排序；对溢写的文件也可以进行Combiner操作，前提是汇总操作，求平均值不行。最后将文件按照分区存储到磁盘，等待Reduce端拉取。 3）每个Red
MapReduce 之shuffle过程
happy19870612's blog
11-17 813
我们知道在MapReduce程序在map阶段和reduce阶段之间，会进行shuffle操作。那么我们来详细分析一下shuffle的过程或者原理 在MapTask调用Mapper#map方法之前，会构造一个RecordWriter对象，如果Job没有reduce操作，那么new一个NewDirectOutputCollector 如果包含Reduce操作，就new一个NewOutp
MapReduce Shuffle 过程图解 Xmind文件
11-29
MapReduce Shuffle 过程图解 Xmind文件
Hadoop MapReduce Shuffle 过程解析
超越时代
02-28 713
mapreduceShuffle过程解析 Shuffle过程是Mapreduce的核心，要想理解Mapreduce，Shuffle过程是必须了解的。 Shuffle的本义是洗牌，混乱，把一组有规则的数据转换成一组无规则的数据，Mapreduce中的shuffle更像是洗牌的逆过程，把map端处理完的数据规约到reduce端，更像是一个整合的过程，把相对无规则的数据转换成有规则的数据。 为什么M...
Hadoop(十八) MapReduce Shuffle
技术博客
08-21 723
当整个map任务完成溢出写后，会对磁盘中这个map任务产生的所有临时文件（spill文件）进行归并（merge）操作生成最终的正式输出文件，此时的归并是将所有spill文件中的相同partition合并到一起，并对各个partition中的数据再进行一次排序（sort），生成key和对应的value-list，文件归并时，如果溢写文件数量超过参数min.num.spills.for.combine的值（默认为3）时，可以再次进行合并。这次排序是将局部有序的数据整理成整体有序的状态，所以采用的是归并排序。
MapReduce shuffle过程详解与调优指南
“MapReduce shuffle过程剖析及调优” MapReduce是Hadoop生态系统中的核心组件，用于处理大规模数据并行计算。在MapReduce模型中，数据从Mapper阶段经过shuffle阶段传递到Reducer阶段，以实现基于key的聚合操作。...
MapReduce详解Shuffle过程
08-04
MapReduce详解Shuffle过程
MapReduce Shuffle过程
haoyuexihuai的专栏
11-04 1082
一、Map Shuffle主要做了哪些事？哪些可以设置及如何设置？1、 分区partitioner ->>可以自定义规则 线程首先根据最终要传的reducer把数据划分成相应的分区(partition)。 -》决定了map输出的数据，被哪个reduce任务进行处理 -》方便与reduce拷贝数据，直接拷贝划分好的区域数据就可以了 2、排序sort->>可以自定义规则 在
MapReduce的shuffle过程
Sweeneyzuo的博客
11-29 566
shuffle和排序     MapReduce确保每个reducer的输入都是按键排序的。系统执行排序、将map输出作为输入传给reducer的过程称为shuffle。在此，我们将学习shuffle 是如何工作的，因为它有助于我们理解工作机制(如果需要优化MapReduce程序)。shuffle属于不断被优化和改进的代码库的部分。 map端     map函数开始产生输出时，并不是简...
MapReduce的shuffle过程详解（分片、分区、合并、归并。。。）
热门推荐
ASN_forever的博客
07-29 6万+
shuffle过程 shuffle概念 shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。其在MapReduce中所处的工作阶段是map输出后到reduce接收前，具体可以分为map端和reduce端前后两...
MapReduce的Shuffle过程介绍
weixin_34409357的博客
04-15 145
MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。 为什么MapReduce计算模型需要Shuffle过程？我们都知道MapReduce计算模型一般包括两个重要的阶段：Map是映射，负责数据的过滤分...
MapReduce 的 Shuffle 过程
最新发布
weixin_63297999的博客
11-06 820
MapReduce 的 Shuffle 过程指的是 MapTask 的后半程，以及ReduceTask的前半程，共同组成的。从 MapTask 中的 map 方法结束，到 ReduceTask 中的 reduce 方法开始，这个中间的部分就是Shuffle。是MapReduce的核心，心脏。
MapReduce 的shuffle过程
06-21 971
Map过程处理完生成一堆键值对，并写入缓存， 最终缓存数据会写入磁盘，但是写入磁盘之前会经历一些操作才会写入磁盘。 经历分区，排序，可能会合并，这个过程结束，且缓存满了（并不是满了才写，而是到一定比例，默认是0.8，因为需要留缓存让map任务得以继续），再写入磁盘（非hdfs） 然后清空缓存，上述步骤会发生多次，每个磁盘文件，最后统一归并，最后归并成一个大的文件。这个大文件是分区的，对应的r...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值