shuffle的工作原理

最新推荐文章于 2024-04-17 15:04:02 发布
原创 最新推荐文章于 2024-04-17 15:04:02 发布 · 1.6k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#shuffle #map端 #reduce端

shuffle实现的功能

  • 分区

决定当前key交给那个reducer进行处理
相同的key必须在一个reduce task中
默认：按照key的hashCode值对reduce的个数进行取余
如果是自定义分区，默认是对key进行分区，但是我们也可以根据value进行分区

  • 分组

将相同的key的value进行合并，key相同的话，会分到同一组
在mapReduce阶段
一行调用一次map方法
key相同的调用一次reduce方法

  • 排序

按照key对应的keyvalue进行排序，字典排序

shuffle的工作原理

  • map端的shuffle

spill：溢写
每一个map处理好的结果都会进入环形缓冲区（缓冲区内存为100M）当环形缓冲区使用超过80%以后开始溢写
.
分区：确定每一条keyvalue交给哪个reduce处理（类似打标签）

keyvalueflag
hadoop1reduce0
hive1reduce1
hbase1reduce0
hadoop1reduce0

排序：将相同分区的数据进行分区内的排序

keyvalueflag
hadoop1reduce0
hadoop1reduce0
hbase1reduce0
hive1reduce1

当整个还中区达到阈值的80%，开始溢写
将当前分区排序后数据写入到磁盘中，变成了一个个小文件，最终生成多个小文件（假设生成的两个文件相同）
file1：

keyvalueflag
hadoop1reduce0
hadoop1reduce0
hbase1reduce0
hive1reduce1

file2:

keyvalueflag
hadoop1reduce0
hadoop1reduce0
hbase1reduce0
hive1reduce1

- merge合并
将生成的小文件进行合并

keyvalueflag
hadoop1reduce0
hadoop1reduce0
hbase1reduce0
hive1reduce1
hadoop1reduce0
hadoop1reduce0
hbase1reduce0
hive1reduce1

排序：将相同分区的数据进行分区排序
end_file（map task1）

keyvalueflag
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hbase1reduce0
hbase1reduce0
hive1reduce1
hive1reduce1

map task结束，通知appMaster，appMaster拉取数据


  • reduce端的shuffle

map task1

keyvalueflag
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hbase1reduce0
hbase1reduce0
hive1reduce1
hive1reduce1

map task2

keyvalueflag
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hbase1reduce0
hbase1reduce0
hive1reduce1
hive1reduce1

reduce启动多线程通过http到每台机器上拉取属于自己的分区数据
reduce1

keyvalueflag
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hbase1reduce0
hbase1reduce0
hbase1reduce0
hbase1reduce0

reduce2

keyvalueflag
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hadoop1reduce0
hbase1reduce0
hbase1reduce0
hbase1reduce0
hbase1reduce0

merge：合并，将每个map task的结果中数据自己分区的数据进行合并
排序：对整个属于自己的分区数据进行排序
分组：将相同key的value进行合并
reduce0

keyvalue
hadoop[1,1,1,1,1,1,1,1]
hbase[1,1,1,1]

reduce1

keyvalue
hive[1,1,1,1]
Shuffle 原理剖析
威少（微笑）
05-24 297
传统原理： Map端： （1）每个ShuffleMapTask都会为每个ResultTask创建一份 bucket 缓存 以及对应的 ShuffleBlockFile磁盘文件 （2）ShuffleMapTask的输出会封装成 MapStatus 发送到DAGScheduler的MapOutputTrackerMaster中 （3）每个MapStatus包含了每个ResultTask要拉取的数...
shuffle原理
阅后即焚
02-22 977
shuffle阶段又可以分为Map端的shuffle和Reduce端的shuffle。 　　一、Map端的shuffle Map端会处理输入数据并产生中间结果，这个中间结果会写到本地磁盘，而不是HDFS。每个Map的输出会先写到内存缓冲区中，当写入的数据达到设定的阈值时，系统将会启动一个线程将缓冲区的数据写到磁盘，这个过程叫做spill。 在spill写入之前，会先进行二次排序，首先根据数据所属...
shuffle的机制
03-30
这里详细的分析了hadoop的shuffle机制，具体步骤等等。
深入解析mapreduce中shuffle的工作原理
MrSaber的博客
08-08 9595
详细讲解mapreduce中shuffle的工作原理： 一，map端shuffle的工作流程 二，reduce端shuffle的工作流程 以及一些容易理解出错地方的总结
shuffle机制和原理分析
LYlinye的博客
06-05 2160
Shuffle简介 Shuffle描述着数据从map task输出到reduce task输入的这段过程。shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的...
shuffle工作原理
05-24
shuffle 的主要工作原理如下： 1. Map 阶段将输入数据按照 key 进行分组，每个组内的数据都会被发送到同一个节点上。 2. Shuffle 阶段将来自不同节点的数据根据 key 值进行合并，相同 key 的数据会被合并到一起。 ...
hadoop的shuffle工作原理
04-10
Hadoop的shuffle工作原理是将MapReduce中的Map阶段输出的key-value对进行分区和排序，并对相同key的value进行合并，然后传输到Reduce阶段进行处理。在shuffle过程中，Hadoop利用了Partitioner和Sorter来对数据进行...
MapReduceShuffle原理与SparkShuffle原理
02-25
Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。为什么MapReduce计算...
spark shuffle原理
04-21
理解Spark Shuffle的原理对于优化大数据应用的性能至关重要，开发者可以通过调整Shuffle相关的配置参数，如buffer size、shuffle partition数量等，来平衡内存使用、磁盘I/O和网络传输，以达到最佳的处理效果。
洗牌算法及 random 中 shuffle 方法和 sample 方法浅析
weixin_34278190的博客
06-17 1022
对于算法书买了一本又一本却没一本读完超过 10%，Leetcode 刷题从来没坚持超过 3 天的我来说，算法能力真的是渣渣。但是，今天决定写一篇跟算法有关的文章。起因是读了吴师兄的文章《扫雷与算法：如何随机化的布雷（二）之洗牌算法》。因为扫雷这个游戏我是写过的，具体见：《Python：游戏：扫雷》。 游戏开始的时候需要随机布雷。扫雷的高级是 16 × 30 的网格，一共有 99 个雷。如果从 0 ...
Hadoop 生态系列之 Mapreduce
程序员小陶的大数据分享
04-21 319
阅读文本大概需要 5 分钟。文章稍长，建议收藏慢慢看。 目前 Hadoop 系列文章的规划就是这样，持续补充完善中… 同时可以访问 https://data.cuteximi.com Hadoop 生态系列之1.0和2.0架构 Hadoop 生态系列之 HDFS Hadoop 生态系列之 Mapreduce Hadoop 生态系列之 Yarn Hadoop 生态系列之 Zookeeper Hado...
什么是shuffle？shuffle的原理及过程
热门推荐
星空的风fly
11-15 3万+
首先，我们给 Shuffle 下了一个明确的定义，在分布式计算场景中，Shuffle 指的是集群范围内跨节点、跨进程的数据分发。我们在最开始提到，Shuffle 的计算会消耗所有类型的硬件资源。具体来说，Shuffle 中的哈希与排序操作会大量消耗 CPU，而 Shuffle Write 生成中间文件的过程，会消耗宝贵的内存资源与磁盘 I/O，最后，Shuffle Read 阶段的数据拉取会引入大量的网络 I/O。不难发现，Shuffle 是资源密集型计算，因此理解 Shuffle 对开发者来说至关重要。
Hadoop Shuffle运行原理
Cruise的博客
05-17 1910
Shufflehadoop的核心思想是MapReduce,而MapReduce的核心思想又是Shuffle。shuffle的主要工作是从Map结束到Reduce开始之间的过程，所以了解shuffle的运行原理也是必要的阶段。首先来看下面一张图。 shuffle阶段又可以分为Map端的shuffle和Reduce端的shuffle。Map阶段的Shuffle 1、map端（有多个map，这里只详
简单搞定Shuffle机制运行原理
github_36444580的博客
07-16 9657
2.4.1 概述 1）mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle； 2）shuffle: 洗牌、发牌（核心机制：数据分区、排序、缓存）； 3）具体来说：就是将maptask输出的处理结果数据，分发给reducetask，并在分发的过程中，对数据按key进行了分区和排序。
Shuffle机制流程原理
wenpan的博客
11-13 1397
基础知识： Mapreduce确保每个reducer的输入都是按键排序的。系统执行排序的过程（即将map输出作为输入传给reducer）称为shuffle。 shuffle阶段是从map方法输出数据以后开始到reduce方法输入数据之前结束。 分区的数量 =  ReduceTask数量  = 结果文件的数量       首先是由map方法处理后的key/value对输入到环形缓冲...
Hadoop_MapReduce_Shuffle机制—图文详解
最新发布
贯彻终生学习主义
04-17 1972
MapReduce—Shuffle机制图文详解
shuffle原理 及优化策略
python -学习笔记
03-29 1895
1、shuffle操作原理： 在Spark中，数据通常不会跨分区分布，以满足特定操作的需要。在计算期间，单 个任务将对单个分区进行操作——因此，要组织单个reduceByKey 的计算任务要执行 的所有数据，Spark需要执行一个all-to-all操作。它必须从所有分区中读取所有 键的所有值，然后将所有分区的值放在一起计算每个键的最终结果——这称为shuffle。 Spark中的某些操作会触...
java shuffle原理,Standalone作业提交流程以及Shuffle原理
weixin_42666807的博客
03-13 198
Standalone模式下有四个重要组成部分,分别为:Driver:用户编写的Spark应用程序就运行在Driver上,由Driver进程执行Master:主要负责资源的调度和分配,并进行集群的监控等职责Worker:Worker运行在集群中的一台服务器上,负责管理该节点上的资源,负责启动节点上的ExecutorExecutor:一个Worker上可以运行多个Executor,Executor通过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值