MapReduce工作流程详解

最新推荐文章于 2025-03-31 19:52:33 发布
最新推荐文章于 2025-03-31 19:52:33 发布
阅读量843 收藏 2
点赞数 1
文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_48395735/article/details/107145580
版权
本文详细阐述了MapReduce的工作流程，从文件读取开始，包括split生成、Map阶段的Key-Value解析、数据排序与分区，再到Reduce阶段的Copy、Merge、Sort及最终的Reduce计算，全面揭秘大数据处理的核心步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

MapReduce整个工作流程图示：

在这里插入图片描述

1、文件读取

（1）文件读取默认调用InputFormat，而其中有两个方法：getSplits()和createRecordReader()
（2）getSplits()是对输入目录的文件进行分片得到splis，有多少个split就对应启动多少个MapTask
（3）createRecordReader()是对split文件读取，将每个splie解析成records, 再依次将record解析成<Key,Values>，（Key表示每行首字符偏移值，value表示这一行文本内容）返回<Key,Values>

2、Map阶段

（1）读取split返回<Key,Values>，用户重写的map函数。
map函数会将接收到的<Key,Values>解析为新的<k，v>键值对（k为值，values为输出的类型）
（2）map函数执行完毕，通过context.write输出到OutputCollector收集器。

（3）经过收集器之后数据会写入到内存，这一块被称为环形缓冲区

环形缓冲区其实是一个数组，前面写，后面有组件在清理，写入到文件中
最低0.47元/天 解锁文章
qq_48395735
关注
MapReduce详细工作流程解析
May_J_Oldhu的博客
12-10 8394
MapReduce工作流程一.流程示意图二.流程详解1.split阶段2.map阶段3.Shuffle阶段4.Reduce阶段5.注意三.各个阶段的工作机制1.InputFormat数据输入1.1FileInputFormat抽象类1.1.1FileInputFormat源码解析1.1.2FileInputFormat切片大小的参数配置1.1.3获取切片信息1.1.4总结1.2FileInputFormat实现类1.2.1TextInputFormat1.2.2KeyValueTextInputFormat
最易懂的MapReduce工作流程详解！
Queen0809的博客
04-19 527
MapReduce工作流程原理详解 (1)输入数据（Input）：客户端submit()（客户端submit()前就已经将数据进行逻辑上的规划，也就是切片了），客户端将数据信息（job.split , wc.jar等）提交给Yarn的ResourceManager进行处理，ResourceManager启动NodeManager和ApplicationMaster，ApplicationMaster根据接收到的job.split信息，开启与切片个数相同个数的MapTask，MapTask启动后，用Input
MapReduce详细流程
08-17
里边就一张图，显示了MapReduce的详细流程，还算是比较实用。
mapreduce的工作流程
不言尘世
06-16 936
MapReduce 就是将输入进行分片，交给不同的 Map 任务进行处理，然后由 Reduce 任务合并成最终的解。 MapReduce 的实际处理过程可以分解为 Input、Map、Sort、Combine、Partition、Reduce、Output 等阶段，具体的工作流程如图 1 所示。 在 Input 阶段，框架根据数据的存储位置，把数据分成多个分片（Splk），在多个结点上并行处理。 Map 任务通常运行在数据存储的结点上，也就是说，框架是根据数据分片的位置来启动 Map 任务的，而不是把数据
mapreduce的工作原理
最新发布
2301_82118291的博客
03-31 926
如果指定了 Combiner（相当于本地 Reduce），Map 端会先对相同 Key 的 Value 做局部聚合，减少网络传输量。例如，如果有 3 个 Reduce 任务，则 Map 输出会被分成 3 个分区。每个分区内的数据按 Key 排序（如字典序），以便 Reduce 任务合并。如果某个 Task 运行过慢，系统会启动一个相同任务的备份，取先完成的结果。，MapReduce 能高效处理 PB 级数据，并隐藏分布式计算的复杂性。（R 是 Reduce 任务数），决定它属于哪个 Reduce 任务。
MapReduce详细工作流程
11-26 437
mapreduce工作流程详解
09-01
它的工作流程可以分为以下几个步骤： 1. 输入数据分割：首先，输入数据被分割为多个小的数据块。每个数据块的大小通常是以文件的大小来决定的，以便可以被分配给不同的计算节点进行并行处理。 2. 映射（map）阶段...
MapReduce工作流程详解与实践指南
MapReduce的源码分析与工具使用是深入了解和优化MapReduce程序的关键。开发者可以通过查看Hadoop的开源代码，了解框架的内部工作机制。此外，Hadoop还提供了许多工具来帮助开发和调试MapReduce程序，如Hadoop的Web...
Hadoop生态圈（二十三）- MapReduce工作流程详解
程序园@大Null
02-04 1116
MapTask工作机制详解，ReduceTask工作机制详解，MapReduce Shuffle机制详解，MapReduce执行流程详解，MapReduce执行步骤详解，MapReduce Shuffle的弊端
MapReduce工作流程
weixin_44976835的博客
04-15 276
MapTask ReduceTask
MapReduce具体工作流程
小石头的专栏
10-20 736
1、数据通过dfs分为多个split，然后通过input
MapReduce工作流程和工作原理
MayMatrix 的博客
01-16 1482
MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型，MapReduce的计算过程被封装的很好，我们只用使用Map和Reduce函数，所以对其整体的计算过程不是太清楚，同时MapReduce1.0和MapReduce2.0在网上有很多人混淆。 MapReduce1.0运行模型 20170730014216035.png Input Input但是输入文件的存储位置， ...
4 MapReduce 工作流程详解
stable_zl的博客
03-27 246
MapReduce 工作流程详解 一、MapTask 的工作机制 总体可概括为如下流程： 1、client 向集群提交任务，指定了分片个数 n 2、集群启动 n 个 maptask 3、maptask 通过 RecordReader 读取数据（k，v），v 代表一行一行的数据 4、读到数据后 mapper 对一行一行的数据进行逻辑处理 5、把处理后的数据分装成新的 (k1, v1)，通过 Co...
MapReduce简述、工作流程
热门推荐
LuckyTHP
02-28 3万+
MR编程模型之执行步骤： 　　1、准备map处理的输入数据 　　2、mapper处理 　　3、Shuffle 　　4、Reduce处理 　　5、结果输出 (input)&lt;k1,v1&gt; -&gt; map -&gt;&lt;k2,v2&gt; -&gt; combine -&gt; &lt;k2,v2&gt; -&gt;reduce -&gt; &lt;k3,v3&gt;(o
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值