Hadoop学习日记（十三）——Shuffle机制

 

Hadoop学习日记（十三）

2019.07.03

主题：Shuffle机制

学习过程主要参考段海涛大数据p35

1. Map的并发任务数

Map任务与数据存储的数据中间有一层“切片(split)”的概念。

标题

对于小文件处理，可使得一个split对应多个实际的数据块；当文件较大被分成多个128M的块时，一个split可对应一个块。

2.shuffle机制

1.每个map有一个环形内存缓冲区，用于存储任务的输出。默认大小100MB（io.sort.mb属性），一旦达到阀值0.8（io.sort.spill.percent）,一个后台线程把内容写到(spill)磁盘的指定目录（mapred.local.dir）下的新建的一个溢出写文件。

2.写磁盘前，要partition,sort。如果有combiner，combine排序后数据。

3.等最后记录写完，合并全部溢出写文件为一个分区且排序的文件。

1.Reducer通过Http方式得到输出文件的分区。

2.TaskTracker为分区文件运行Reduce任务。复制阶段把Map输出复制到Reducer的内存或磁盘。一个Map任务完成，Reduce就开始复制输出。

3.排序阶段合并map输出。然后走Reduce阶段。

关于shuffle在具体生产中的调优可考虑调整内存缓冲区大小等。

3.MRAppMaster的任务监控调度机制

4.MR程序的组件全貌

在之前的内容里，没有提到的就是InputFormat和OutputFormat。

Map接收的数据来自InputFormat，Reduce的输出由OutputFormat写到指定地点（默认是到hdfs上存储）。

如果不做设定，InputFormat（抽象类）默认是FileInputFormat（实现了InputFormat）的子类TextInpuFormat（多种不同文件类型，还有KeyValueTextInputFormat等等），读取文本文件。除了FileInputFormat，还有DBInputFormat（数据库相关）等等。

当然，OutputFormat也有很多类型。InputFormat和OutputFormat应该根据应用需求选择具体的实现类。

5.TextInputFormat对切片(split)规划的源码分析

这一小节主要参考段海涛大数据p37