MapReduce面试题

最新推荐文章于 2024-05-20 15:39:49 发布

原创

最新推荐文章于 2024-05-20 15:39:49 发布 · 1k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#MapReduce面试题

本文详细介绍了MapReduce的核心思想，包括分而治之的原则和MapReduce的主要步骤。讨论了Shuffle阶段的分区、排序、Combiner的使用以及ReduceTask数量的设置。还深入分析了内存中Map输出到Reduce输入的过程，以及如何优化Map和Reduce的效率，如调整环形缓冲区大小、使用Combiner和数据压缩等。最后，提到了集群调优的关键在于减少网络带宽和磁盘I/O操作。

MapReduce核心思想
分而治之，先分后合
分是Map 和是reduce
偏移量
指的是每行行首字母移动到文本的最前面需要的距离
Suffle包含哪些步骤
宏观层面：
1.分区
2.排序
3.Combiner（局部聚合）
4.分组

MR从读取数据开始到将最终结果写入HDFS经过哪些步骤

	第一步：InputFormat
	InputFormat 在HDFS文件系统中读取要进行计算的数据
	输出给Split
	第二步：Split
	Split 将数据进行逻辑切分，切分成多个任务。
	输出给RR(RecordReader)
	第三步：RR(RecordReader)
	RR 将切分后的数据转换成key value进行输出
	key : 每一行行首字母的偏移量
	value: 每一行数据
	输出给Map
	第四步：Map
	接收一条一条的数据（有多少行数据Map运行多少次，输出的次数根据实际业务需求而定）
	根域业务需求编写代码
	Map的输出是 key value的 list
	输出给Shuffle（partition）
---------------------------------------Map-------------------------------------------------------
	第五步： partition
	partition: 按照一定的规则对 **key value的 list进行分区
	输出给Shuffle（sort）
	第六步：Sort
	Sort :对每个分区内的数据进行排序。
	输出给Shuffle（Combiner）
	第七步：Combiner
	Combiner: 在Map端进行局部聚合（汇总）
	目的是为了减少网络带宽的开销
	输出给Shuffle（Group）
	第八步：Group
	Group: 将相同key的key提取出来作为唯一的key
	将相同key对应的valu

最低0.47元/天解锁文章