MapReduce具体工作流程

最新推荐文章于 2023-10-24 14:48:30 发布
原创 最新推荐文章于 2023-10-24 14:48:30 发布 · 761 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了MapReduce的工作原理及其实现过程。首先，客户端提交的数据被划分为多个部分，并通过特定格式传递给JobTracker进行任务分配。接着，TaskTracker执行Map任务处理数据，最后汇总并传递给Reducer进行进一步处理，最终将结果写回到分布式文件系统中。

1、client提交数据到DFS，然后被分为多个split，然后通过inputformatter以key-value传给jobTraker，jobTraker分排工作给多个map(taskTraker)，工程师重写map,在各个taskTraker上分别执行代码任务，做到数据不动，代码动。真正实现代码分布式。

2、tasktraker执行完代码后，将结果通过上下文收集起来，再传给reduce（也是taskTraker），经过排序等操作，再执行工程师重写的reduce方法,最终将结果通过outputFormatter写到DFS。



MapReduce工作流程
Wuyikkk的博客
02-17 8651
1、Mapper的map()方法传来的<k,v>数据会先进入环形缓冲区kvbuffer（内存中首尾相连的数据结构，环形缓冲区由数据区和索引区组成），当kvbuffer中的数据达到80%，就会发生溢写。 2、溢写前，kvbuffer会对缓冲区内的数据进行快排，先按分区编号排序，再按map的key排序。（排序只会改变索引区索引的顺序，不会改变数据区的数据） 3、溢写多次，就会产生多个磁盘文件file.out，和索引文件file.out.index。 4、多个溢写文件会合并成一个文件（通过归并排序）.
MapReduce详细工作流程
m0_67991849的博客
04-28 3754
MapReduce详细工作流程（未完成）
mapreduce详细流程总结
m0_64622390的博客
10-24 2646
mapreduce详细流程理解，总结
MapReduce概述及工作流程
热门推荐
yaya_jn的博客
09-20 1万+
Map：1、根据业务需求处理数据并映射为KV模型2、并行分布式3、计算向数据移动Reduce：1、数据全量/分量加工2、Reducer中可以包含不同的key 分区的范围大于分组3、相同分区的Key汇聚到一个Reducer中4、“相同”的Key调用一次reduce方法5、排序和比较实现key的汇聚K,V使用自定义数据类型 MyKey：WritableComparable1、节省开发成本，提高程序自由度。
Mapreduce的工作流程以及Shuffle机制
日句灬的博客
07-23 1421
仅作复习时使用。 MapReduce工作流程 第一步，准备好文件； 第二步，切片分析； 第三步，客户端会提交3个信息：Job的切片、jar包（集群模式才有）、Job运行相 关的参数信息； 第四步，Yarn会开启一个Mr appmaster（整个任务的老大），Mr appmaster会读 取客户端提交的信息，根据切片信息开启对应个数的MapTask； 后续讲解一个MapTask的工作内容： 第五步，MapTask开启InputFormat（默认TestInputFormat）来按行读取对应切 片
MapReduce执行流程
03-04
MapReduce的大体流程是这样的，如图所示：由图片可以看到mapreduce执行下来主要包含这样几个步骤1.首先对输入数据源进行切片2.master调度worker执行map任务3.worker读取输入源片段4.worker执行map任务，将任务输出...
mapreduce的工作流程
不言尘世
06-16 1056
MapReduce 就是将输入进行分片，交给不同的 Map 任务进行处理，然后由 Reduce 任务合并成最终的解。 MapReduce 的实际处理过程可以分解为 Input、Map、Sort、Combine、Partition、Reduce、Output 等阶段，具体的工作流程如图 1 所示。 在 Input 阶段，框架根据数据的存储位置，把数据分成多个分片（Splk），在多个结点上并行处理。 Map 任务通常运行在数据存储的结点上，也就是说，框架是根据数据分片的位置来启动 Map 任务的，而不是把数据
mapreduce详细工作流程
weixin_44085938的博客
12-20 6151
mapreduce工作流程 map任务处理 1.1 框架使用InputFormat类的子类把输入文件(夹)划分为很多InputSplit，默认，每个HDFS的block对应一个InputSplit。通过RecordReader类，把每个InputSplit解析成一个个<k1,v1>。默认，框架对每个InputSplit中的每一行，解析成一个<k1,v1>。 1.2 框架调用Mapper类中的map(…)函数，map函数的形参是<k1,v1>对，输出是<k2,v2
MapReduce工作流程详解
weixin_45077780的博客
07-06 877
MapReduce工作流程 1.由程序内的InputFormat(默认实现类TextInputFormat)来读取外部数据，它会调用RecordReader(它的成员变量)的read()方法来读取，返回k,v键值对。 2.读取的k,v键值对传送给map()方法，作为其入参来执行用户定义的map逻辑。 3.context.write方法被调用时，outputCollector组件会将map()方法的输出结果写入到环形缓冲区内。 4.环形缓冲区其实就是一个数组，后端不断接受数据的同时，前端数据不断被溢出，长度
MapReduce工作流程详述
紫藤萝瀑布的博客
12-11 1198
MapReduce过程1：最简单的过程： 　　map - reduce 2：定制了partitioner以将map的结果送往指定reducer的过程： 　　map - partition - reduce 3：增加了在本地先进性一次reduce（优化） 　　map - combin(本地reduce) - partition - reduce基本上，一个完整的mapreduce过程可以分为
hadoop的shuffle过程
sofeld的博客
08-25 428
Shuffle 的执行阶段流程 1).Collect 阶段：将 MapTask 的结果输出到默认大小为 100M 的环形缓冲区，保存的是 key/value 序列化数据，Partition 分区信息等。 2).Spill 阶段：当内存中的数据量达到一定的阀值的时候，就会将数据写入本地磁盘，在将数据写入磁盘之前需要对数据进行一次排序的操作，如果配置了 combiner，还会将有相同分区号和 key ...
MapReduce 工作流程总结
AdamShyly的博客
04-10 2997
客户端Job提交流程 一个待处理的数据集首先会进入客户端，最先运行的是Driver类，初始化job配置信息，其中包括自定义分区信息、虚拟存储切片信息、数据输入输出路径、Mapper和Reducer的输入输出KV类型。 接着在Job类中，客户端首先会确定Job的state是否为DEFINE，如果是则处理API的兼容问题，然后开始尝试与Yarn服务器建立连接。如果连接失败则启动本地运行模式。 接下来就开始启动Job提交的准备工作，首先会检查数据输出目录是否存在，如果存在则报错。然后开始创建J...
关于MapReduce详细工作流程，你真的都知道吗？？
Forever_ck的博客
11-28 493
毫无疑问，Hadoop 里面最复杂的是MapReduce，那么今天咱们就来看看它的整体工作流程： 怎么样？是不是懵了？ 简单说下我的理解： 上面的流程是整个 mapreduce 最全工作流程，但是 shuffle 过程只是从第 7 步开始到第16 步结束，具体 shuffle 过程详解，如下： 1） maptask收集我们的 map()方法输出的 kv对，放到内存缓冲区中 2） 从内存缓冲区不...
MapReduce具体过程
Mrs_WuHo_O的博客
03-17 422
统计hdfs某个文件中重复单词的数目（WordCount），每个单词用空格分隔，统计每个单词的出现频率，说明MapReduce框架的过程。进行map过程之前，进行Pre-Map过程。框架帮我们把文件切分，NameNode把文件切分成block，每个block最大为128M；文件小于128M时，文件多大形成的block就是多大；一个block不能跨多个文件。分隔好后，针对每个文件内部，再根据换行符\...
MapReduce 流程详述
zyy5411的专栏
06-04 2093
一、MapReduce的提出、介绍 MapReduce 是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个 Map函数处理一个基于key/value pair 的数据集合，输出中间的基于 key/value pair 的数据集合；然后再创建一个 Reduce 函数用来合并所有的具有相同中间 key 值的中间 value 值。因此，可以将许多数据处理问题，转化为 M
简述MapReduce的工作流程。
最新发布
04-21
### MapReduce 工作流程详解 MapReduce 是一种用于处理和生成大数据集的分布式计算模型，其核心理念是将复杂的任务分解为简单的映射（Map）和化简（Reduce）两个阶段。以下是 MapReduce 的工作流程详细解析： --- #### **1. 输入划分** 在 MapReduce 中，输入数据通常被划分为多个分片（Split）。这一过程由 `InputFormat` 定义，默认情况下使用的是 `FileInputFormat`[^4]。每个 Split 对应一个 Map 任务，这使得不同节点可以并行处理各自的任务[^3]。 --- #### **2. 映射阶段 (Map Phase)** - 在此阶段，框架会读取输入数据并将它们转换为键值对形式 `<key, value>`。例如，对于文本文件，每一行会被转化为 `<offset, line>` 形式的键值对[^4]。 - 接下来，用户定义的 `Mapper` 类会对这些键值对进行处理。典型的例子是对输入字符串进行分割、过滤或其他预处理操作，并输出新的键值对集合。例如，在词频统计中，`Mapper` 可能会将单词及其出现次数作为输出。 ```java // Mapper 示例代码 public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override protected void map(Object key, Text value, Context context) throws IOException, InterruptedException { String[] words = value.toString().split("\\s+"); for (String w : words) { word.set(w); context.write(word, one); } } } ``` --- #### **3. Shuffle 和 Sort** - 当所有的 Map 任务完成后，系统进入 Shuffle 阶段。在此过程中，中间结果按照 Key 被重新分布到各个 Reduce 任务中。 - 同时，所有具有相同 Key 的记录都会被聚集在一起，并按 Key 值排序以便于后续 Reducer 处理。 --- #### **4. 化简阶段 (Reduce Phase)** - 经过 Shuffle 和 Sort 后的数据传递给 Reducer。Reducer 将接收到一组共享同一个 Key 的 Value 列表，并对其进行进一步聚合或总结操作[^4]。 - 输出的结果同样是以键值对的形式保存至最终目标路径下。 ```java // Reducer 示例代码 public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> { @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } context.write(key, new IntWritable(sum)); } } ``` --- #### **5. 输出格式化** 最后一步涉及到了如何写入输出文件。可以通过扩展 `FileOutputFormat` 来定制特殊的 OutputFormat 实现类，比如前面提到过的 `LogOutputFormat`[^2]。它允许开发者控制每条记录的具体写出方式。 --- ### 总结 整个 MapReduce 流程涵盖了从原始数据加载到最后结果存储的一系列步骤，每一个环节都可以根据实际应用场景灵活调整配置参数或者编写特定算法逻辑以满足需求[^1]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

从来不用昵称

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值