MapReducer的执行流程

本文解析了MapReduce工作流程,包括mapper处理逻辑切片、环形缓冲区溢写、mapshuffle阶段合并排序分区、reducer获取map输出并进行处理等过程。介绍了splits、maptask、reducetask的概念及它们之间的关系。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

MapReducer工作流程图:

在这里插入图片描述

MapReducer工作流程:

------------------------------------------------mapper的工作--------------------------------------------
1.mapper开始运行,调用InputFormat组件读取文件逻辑切片(逻辑切片不是block块,切片大小默认和block块大小相同 可以是block大小的110%)
2.经过inputformat组件处理后,文件以<k,v>的形式进入我们自定义的mapper逻辑,经过map逻辑处理
----------------------------------------------mapper shuffle------start---------------------------------
3.mapper逻辑中输出结果会调用OutPutCollector组件写入环形缓冲区。
4.环形缓冲区的存储达到默认阀值会调用Spliller组件将内容分区且排序(快排算法,外部排序算法)后溢写到磁盘文件中,mapper最后结果不满环形缓冲区也会溢写到磁盘。
5.mapper结束后磁盘中的结果小文件会合并(merge),产生大文件(分区且排序,归并算法)。
------------------------------------------------mapper shuffle—end---------------------------------

------------------------------------------------reducer shuffle—start--------------------------------
6.reducer shuffle启动后会到不同的map结果文件中拉取相同区号的结果文件,再合并这些来自不同map的结果文件,再将这些文件合并(归并算法),产生的大文件是分区且排序且分好组了的,分组调用默认的GroupingComparator组件。
7.reducer把拉取的所有map输出文件合并完成之后就会开始读取文件,将读入的内容以<k,v>的形式输入到我们用户自定义的reducer处理逻辑中。
------------------------------------------------reducer shuffle—end--------------------------------

------------------------------------------------reducer --阶段开始------------------------------------
8.自定义的reducer进行处理。
9.用户逻辑完成之后以<k,v>的形式调用OutPutFormat组件输出到hdfs文件系统中去保存。

总结 :

map shuffle 环形缓冲区(默认大小100M 阈值是80%) 合并 排序 分区 对map处理之后的数据再处理combiner中。
combiner : 在map端计算之后,子节点上还可以进行计算,这个计算叫combiner 。
Reducer shffule 在缓冲中合并排序 缓冲没有固定值 处理完成会提供给reducer。

splits : map端的输入单位,对应文件的block,如果最后一个block的大小小于blockSize的10%,把最后一个block合并到上一个,形成一个split。
map task : map端的计算是并行的,每一个并行任务交一个maptask。maptask的数量由split的数量决定。所以map的输出对应Task的数量。
reduce task : reduce端的task是以partition(分区)的个数决定。
【只有在指定分区个数 > 1的情况下会触发分区】,如果默认或分区个数是1,reduceTask的个数是1;如果分区大于1,也就是reduceTask的数量大于1,输出的文件个数会大于1。reduceTask的个数如果大于1,则一般应和patition的个数相同,reduce端的输出文件个数也和patition的个数相同。
mapreduce : 默认提供了一个分区类,HashPartitioner。

### C++ 中的 MapReduce 实现 #### 什么是 MapReduce? MapReduce 是一种用于处理大规模数据集的编程模型,最初由 Google 提出[^3]。它通过两个主要阶段来简化分布式计算中的复杂性:**Map** **Reduce**。 - **Map** 阶段负责将输入数据转换为键值对的形式。 - **Reduce** 阶段则聚合这些键值对,生成最终结果。 在 C++ 中实现 MapReduce 可以利用 STL 容器(如 `std::map` 或 `std::unordered_map`),以及自定义的数据流管理工具。 --- #### C++ 中的 MapReduce 库 目前存在一些开源库可以用来实现在 C++ 中的 MapReduce 功能: 1. **Boost.MPI** Boost.MPI 是一个基于 MPI (Message Passing Interface) 的库,支持消息传递接口标准。虽然其本身并不是专门为 MapReduce 设计的,但它可以通过扩展实现类似的并行计算模式[^4]。 2. **cpp-mapreduce** 这是一个轻量级的 C++ MapReduce 实现框架,专注于提供易用性灵活性。它可以读取文件目录并将每个文件名及其对应的输入流作为键值对分配给不同的 Map 任务[^1]。 3. **Hadoop Pipes** Hadoop 支持通过 Pipes 接口调用外部程序语言编写的 Mapper Reducer 函数,其中包括 C++ 编程的支持。这使得开发者能够充分利用 Hadoop 生态系统的强大功能,同时保持使用熟悉的开发环境[^4]。 --- #### 使用 STL 容器模拟 MapReduce 如果不想依赖第三方库,在纯 C++ 环境下也可以手动构建简单的 MapReduce 流程。以下是具体方法: ##### 数据结构的选择 当涉及到存储操作大量的键值对时,通常会考虑两种容器类型: - 如果只需要唯一性的键集合而不需要关联任何额外的信息,则可以选择 `std::set` 或者 `std::unordered_set`. - 当需要保存每把钥匙对应的具体数值或者对象实例时,则应该选用 `std::map` 或者 `std::unordered_map`. 注意尽管两者都提供了查找、插入等功能,但它们内部实现方式不同——前者基于平衡二叉树,后者则是哈希表;因此性能特征也会有所差异[^2]. 下面给出一段伪代码展示如何运用上述概念完成基本的任务分解过程: ```cpp #include <iostream> #include <vector> #include <string> #include <unordered_map> // Define your custom mapper function here. void myMapper(const std::string& inputLine, std::vector<std::pair<std::string, int>>& outputPairs){ // Split line into words and emit them as pairs of word -> count=1 } int main(){ std::unordered_map<std::string, int> results; // Assume we have some inputs... std::vector<std::string> lines = {"hello world", "this is test"}; std::vector<std::pair<std::string,int>> intermediateResults; for(auto &line : lines){ myMapper(line,intermediateResults); } // Now perform reduction step by aggregating counts per unique key for(auto &[key,value]:intermediateResults){ results[key]+=value; } // Output final result set after reducing all keys together appropriately. for(auto const&[k,v]:results){ std::cout<< k << ":"<< v<<"\n"; } return EXIT_SUCCESS;} ``` 此示例展示了怎样创建自己的映射函数,并将其应用于一系列字符串上,最后再汇总所得的结果形成完整的字典统计信息。 --- ### 总结 无论是采用现有的成熟解决方案还是自己动手搭建简易版本,都可以有效地达成目标即高效地分析海量资料的目的。选择合适的工具取决于项目的特定需求技术栈偏好等因素考量之后决定最为恰当的做法。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值