MapReduce 执行流程总结

最新推荐文章于 2020-08-22 23:01:28 发布
原创 最新推荐文章于 2020-08-22 23:01:28 发布 · 495 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细解析了MapReduce的工作流程，包括map阶段的read、map、collect、溢写和combine，以及reduce阶段的copy、merge、sort和reduce过程。通过理解这些阶段，读者可以更好地掌握MapReduce的运行机制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 一、在我们提交完MR程序之后，MR程序会先后经历map，reduce阶段，下面我们详细的来解析一下各个阶段    

 1  map阶段，在这个阶段主要分如下的几个步骤read，map,collect，溢写，combine阶段        

 (1)  在read阶段，maptask会调用用户自定义的RecordReader方法，在splitInput中解析出一个个的key-value对        

 (2)  在map阶段，maptask会接受由前面读取来的数据，然后按照所需的逻辑对数据进行加工处理，形成新的key-value对

 (3)  在collect阶段，map在数据处理完成之后会调用OutputCollector.collect()方法把数据写入环形缓冲区中，这个环形缓冲区被分为了两部分，一半是用来存储数据的索引，一半是用来存储数据，在分区中首先是按照分区号进行排序，在分区里面在按照key进行排序，在环形缓冲区中默认的采用的是哈希分区，如果想自定义分区可以重写一个类继承partition在重新分区方法即可。             

 (4)  溢写阶段，当环形缓冲区中的数据到达整个缓冲区的百分之八十的时候(环形缓冲区默认大小是100M),就会把数据写入本地的临时文件，但是为了提高性能在这儿可以调用combiner首先把数据合并之后再把数据写入零时文件，在环形缓冲区上的数据读写方法时索引存储数据和存储索引占到总大小的百分之八十多的时候，双方在结束的位置同时向开始的位置读取数据，这样循环往复。        

 (5)  合并阶段,在前面产生的所有的临时文件，maptask采用轮转的方式进行合并，并且在合并之后的分区中进行排序，这样这个map就会产生一个数据的输出文件。        

(6)  如下图所示 

2、reduce阶段主要包括如下的阶段，cpoy阶段，merge阶段，sort阶段，reduce阶段        

(1)  copy阶段主要是reducer阶段从远程的map的输出去拷贝数据到本地的内存中，同一个reducer的节点会把不同的map的输出的同一个分区拷贝到本地。        

(2)  merge阶段，在开始拷贝数据的时候。reduceTask会启动两个后台线程，合并内存中的数据和磁盘中的数据，防止使用过多的内存和磁盘。        

(3)  sort阶段，由于在reduce的数据是按照key进行聚合排序的，但是在map的输出的时候就已经进行排序，所以在这儿只需要简单的归并排序即可        

(4)  reduce阶段 ，把已经按照key聚合的数据输出给reducer按照我们的义务逻辑进行处理。        

(5)  具体如下图所示

 

简述 Hive 的执行流程：从 HQL 到 MapReduce/Spark 任务
2401_83088008的博客
03-19 996
流程选择建议ETL 场景：优先使用 Spark 引擎，利用内存计算加速。超大规模批处理：MapReduce 的稳定性更优。调试工具EXPLAIN命令分析执行计划。YARN ResourceManager UI 监控任务状态。版本演进Hive 3.0 + 默认支持 Tez 引擎，延迟更低。Hive LLAP（Live Long and Process）实现亚秒级响应。
Yarn及MapReduce工作流程（总结版）
weixin_43363395的博客
07-26 670
hadoop的工作流程 （未写出在hdfs上传和下载数据的流程，此流程请详见nn和2nn的爱恨情仇以及nn和dn的老大和小弟的故事） ​ 1.MR程序提交到客户端所在的节点，客户端向RM发出申请Application的请求 ​ 2.RM同意，并返回提交资源的路径stag和application_id。 ​ 3客户端向集群的hdfs提交job运行所需要的资源，提交之后会生成向集群提交数据的stag路径、生成job_id、FileInputFormat调用getSplites（）获取切片规划，并序列化成二进制
MapReduce执行流程
热门推荐
JavaMan_chen的专栏
02-07 2万+
MapReduce的大体流程是这样的，如图所示： 由图片可以看到mapreduce执行下来主要包含这样几个步骤 1.首先对输入数据源进行切片 2.master调度worker执行map任务 3.worker读取输入源片段 4.worker执行map任务，将任务输出保存在本地 5.master调度worker执行reduce任务，reduce worker读取map任务的输出文件
MapReduce的执行流程
zhm_feng
03-14 411
MapReduce的执行流程 文件读取组件调用getRecordReader()方法,再调用LineRecordReader方法来读取切片文件 读取完之后到Mapper中进行处理 Mapper处理完之后,数据进入环形缓冲区 环形缓冲区数据超过80%时会溢出,每溢出一次数据,都会与上一次溢出的数据进行合并操作(归并排序法) 数据合并完之后,reduce会主动拉取分区完的数据进入Reduce程序中执...
MapReduce执行过程总结
大数据爱好者
05-20 637
本文图文并茂简要的对MapReduce的内部执行过程进行介绍。
MapReduce 详细流程图总结
xiaohu21的博客
08-22 1811
MapReduce 详细流程图总结 1.mapreduce阶段 map阶段 shuffle阶段 reduce阶段 其中shuffle阶段，俗称奇迹发生的地方，主要是做了多次的分区和排序，并且对中间数据做了落地磁盘的处理，确保了数据安全，同时数据能够按照key进行划分，并且按照key排序。 2.mapreduce详细流程图 3.mapreduce思想总结 分布式计算其实就一个思路，如何让程序由多台计算机并行处理 程序是由数据+代码组成，这时候顺其自然的，将数据进行划分，将代码流程进行划分。这样每台计算
MapReduce源码流程.pdf
12-25
以下是MapReduce执行流程、Split切片、以及MapTask过程的详细解析。 1. MapReduce执行流程： MapReduce的工作流程主要分为四个步骤：作业提交、任务调度、Map任务执行和Reduce任务执行。首先，客户端将作业提交给...
MapReduce Tutorial 思考总结
01-20
以下是MapReduce的一些关键概念和流程的详细解释： 1. **前置条件**：在开始MapReduce工作之前，确保Hadoop集群已经正确安装、配置并能正常运行至关重要。这包括了DataNodes、NameNodes、NodeManagers和...
MapreDuce执行过程
weixin_40105543的博客
06-13 138
MapReduce执行流程解析
moneycrazy的博客
10-29 1110
本文基于hadoop2.x，以wordcount为例解析MapReduce执行流程。 注：假设HDFS中有两个文件。分别为1.txt（150M），2.txt（100M） 1.Map阶段 步骤： （1）hadoop扫描指定路径下的所有文件，本文指的是1.txt和2.txt，并将其进行逻辑切片（也可称为逻辑规划），每个切片被称为split。通常切片大小与block大小保持一致。本文中两个文件将...
MapReduce计算流程 简答
最新发布
03-08
<think>好的，用户让我介绍一下MapReduce的计算流程，而且希望是简答。首先，我需要回忆一下之前用户问过YARN的工作流程，现在可能是在学习Hadoop的相关知识。用户可能对Hadoop的组件有基本了解，但需要更具体的MapReduce流程。 用户要求简答，所以回答不能太冗长，但要结构清晰。我需要确保覆盖MapReduce的主要阶段：Map阶段、Shuffle阶段、Reduce阶段，以及最后的输出。同时，可能需要提到输入分片、Combiner和Partitioner这些关键步骤，但需要简洁说明。 之前的回答中，用户对YARN的流程有详细步骤，可能这次希望类似的步骤分解，但更简短。要注意使用中文，避免技术术语过多，但也不能遗漏关键点。比如，需要解释Map和Reduce的作用，Shuffle的重要性，以及整个流程如何并行处理数据。 可能用户的需求是快速理解MapReduce的大致过程，用于面试或考试准备，所以重点放在流程步骤和各个阶段的作用上。需要确保每个步骤的解释简明扼要，同时例子帮助理解，比如用词频统计的例子，这样更直观。 还要注意格式，用户之前的回答用了分点，标题加粗，可能适合用类似的格式。同时，是否需要提到Combiner和Partitioner？虽然它们是优化步骤，但简答可能需要提到，但可以简短说明其作用，避免深入细节。 最后，确保整个回答逻辑连贯，从输入到输出，一步步说明，让读者能跟随流程理解。可能需要在最后总结流程，并强调MapReduce的优势，比如并行处理、扩展性等，这样用户能明白其应用场景和好处。</think>以下是 **MapReduce 计算流程**的核心步骤（以经典词频统计为例）： --- ### **1. 输入分片（Input Splitting）** - **操作**：将输入文件（如大文本）切分为多个 **分片**（Split），每个分片对应一个 Map 任务。 - **特点**：分片大小通常等于 HDFS 块大小（默认 128MB），支持并行处理。 --- ### **2. Map 阶段** - **执行逻辑**： 1. 每个 Map 任务读取一个分片，逐行处理。 2. 调用用户定义的 `map()` 函数，生成 `<Key, Value>` 键值对。 （例如：`<"apple", 1>`、`<"banana", 1>`） - **输出**：Map 任务将结果写入本地磁盘（非 HDFS）。 --- ### **3. Shuffle 阶段** - **核心作用**：将相同 Key 的数据聚合到同一 Reduce 节点。 - **关键步骤**： 1. **Partition（分区）**：按 Key 的哈希值分配数据到不同 Reduce 任务。 2. **Sort（排序）**：每个分区内按 Key 排序。 3. **Combiner（可选合并）**：在 Map 端本地合并相同 Key 的值（如预聚合：`<"apple", [1,1]> → <"apple", 2>`）。 --- ### **4. Reduce 阶段** - **执行逻辑**： 1. 每个 Reduce 任务拉取属于自己的分区数据。 2. 调用用户定义的 `reduce()` 函数，汇总相同 Key 的值。 （例如：`<"apple", [2,3]> → <"apple", 5>`） - **输出**：结果写入 HDFS（每个 Reduce 任务生成一个输出文件）。 --- ### **5. 输出结果** - **存储**：最终结果存储在 HDFS 中，格式为 `part-r-00000`、`part-r-00001` 等文件。 --- ### **流程总结** ```plaintext 输入分片 → Map 处理 → Shuffle（分区/排序/合并） → Reduce 汇总 → 输出结果 ``` **核心优势**： - 并行处理海量数据，自动容错（失败任务自动重试）。 - 扩展性强，可通过增加节点提升计算能力。 **适用场景**：批处理类任务（如日志分析、ETL、数据统计）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值