MapReduce 基础学习

 

什么是MapReduce？

• mapreduce 是一种软件框架

• mapreduce job将任务分解为独立的块儿到不同的map task，进行并行处理；

• map任务输出会做相应的排序处理，并作为reduce 任务输入；

• 框架能很好的处理定时任务，进行监控并能够重新执行失败的任务。

 

计算和存储：mapreduce 和 haddoop：

 

通常来讲，计算节点和存储节点是同一个，即mapreduce框架和hadoop分布式文件系统运行在相同的节点集群，使得任务调度更加高效，网络带宽更聚合。

 

mapreduce框架包括一个单一的ResourceManager，每个集群节点一个NodeManager，每个应用一个MRAppMaster节点。

 

基本使用：

 

客户应用设置输入和输出位置=》提供实现map和reduce方法=》haddoop 任务客户端提交任务，同时向ResourceManager提交配置。

 

ResourceManager负责将提交的任务配置项从节点分发，调度任务，监控任务，向客户端提供任务状态及诊断信息。

 

数据形式：

 

mapreduce 框架以  k-v 形式操作数据，输入输出处理；

 

• key 和 value 需要被序列化，通过实现 Writable 接口，以支持序列化；
• key 对象还需要实现 WritableComparable 接口，以支持排序需求。
• 基本处理流程：(input) <k1, v1> -> map -> <k2, v2> -> combine -> <k2, v2> -> reduce -> <k3, v3> (output)

 

Mapper：

 

将输入的k-v 键值对映射转换到中间 k-v 键值对，转换为单独的任务，中间类型和输入类型可以不同，一个输入键值对可能映射转换为0个或多个输出键值对。

 

map结果并不直接存储磁盘，会利用缓存做一些与排序处理，调用combiner，压缩，按key分区，排序等，尽量减少结果的大小。map完成后通知task，reduce进行处理。

• 每个map拥有一个循环内缓冲区（默认100m），容量达到80%，则后台线程开始将内容写入磁盘文件，不妨碍map继续写入缓冲，缓冲区满，则等待。

• 写文件使用round-robin方式，写入文件前，将数据按照reduce分区，对于每个分区，根据key排序，可能的话，执行combiner操作。

• 每次到达缓冲区阈值，都会创建一个文件，map结束前，会执行文件合并（数量不超过3个）和排序。或者压缩（减少数据大小）。

• 如果从未达到阈值，则不创建文件，直接使用内存。这样最高效。配置可能合适大小的缓冲区（io.file.buffer.size，默认4kb）。

• map完成，通知任务管理器，reduce可以开始复制结果数据进行使用。

 

Reducer：结果写入到hdfs中，归并处理为小批量结果

 

• shuffle：从mapper获取相关的结果，排序输出到reduce，http。分配尽可能多的内存

• sort：将reduce的输入分组

• reduce：执行reduce方法，处理输入；reduce的数量应为0.95~1.75*节点数。0.95使得所有的reduce可以被全部启动执行；1.75使得执行最快的节点开始执行第二轮，第三轮...；数值越大，负载越大，增加了负载均衡需求，降低了失败成本；reducetask设置为0，则直接跳过reduce阶段，map结果直接输出到FileSystem中

 

哈希分区是默认的分区类型：HashPartitioner is the default Partitioner.

 

Job is typically used to specify the Mapper, combiner (if any), Partitioner, Reducer, InputFormat, OutputFormat implementations.  FileInputFormat indicates the set of input files ( FileInputFormat.setInputPaths(Job, Path…)/  FileInputFormat.addInputPath(Job, Path)) and ( FileInputFormat.setInputPaths(Job, String…)/  FileInputFormat.addInputPaths(Job, String)) and where the output files should be written ( FileOutputFormat.setOutputPath(Path)).

 

 

job：提交任务，跟踪处理，访问任务报告，日志获取mapreduce集群状态。

 

job提交过程：

 

• 检查输入输出

• 计算InputSplit values

• 为 DistributedCache 设置必要的计算信息

• 复制jar及配置到mapreduce系统文件夹

• 提交任务到ResourceManager，监控状态

 

InputSplit：

 

public interface InputSplit extends Writable {

    long getLength() throws IOException;//split 大小，支持根据size排序

 

    String[] getLocations() throws IOException;//获取存储该分片的数据所在节点位置信息

}

 

• 代表一个逻辑分片，并没有真正的存储数据，提供了如何将数据分片的方法。

• 内部有Location信息，利于数据局部化。

• 一个InputSplit给一个单独的map处理

• mapper处理的键值对象，默认为FileSplit。

• byte-oriented view；由RecordReader处理成record-oriented view。

 

 

通常一个split对应一个block，使得map可以在存储由当前数据的节点上运行当本地任务，不需要通过网络跨节点调度任务。

 

大小配置： mapred.min.split.size， mapred.max.split.size, block.size

 

获取文件在hdfs上的路径及block信息，根据splitsize对文件进行切分，默认splitsize = blocksize = 64m

 

 

RecordReader：

 

将InputSplit 拆分为k-v 键值对。

 

 

CombineFileInputFormat：将若干个InputSplit打包，避免过多的map任务（split数目决定了map任务数），

 

 

OutputFormat：验证输出配置；写输出文件。

 

DistributedCache 是mapreduce提供的一项机制，用于缓存应用需要的文件（文本，压缩包，jar等）

 

应用通过url（hdfs://url）配置需要缓存的文件；DistributedCache嘉定需要缓存的文件都已经在FileSystem中。

 

在从节点执行任务之前，mapreduce会将需要的文件拷贝到相应节点，

 

DistributedCache会跟踪相应文件的更改时间戳，缓存的文件在任务运行期间不可以被应用或者外部更改。

 

DistributedCache可以被用作文件分发。运行jar，配置等

 

 mapreduce.job.cache.file=file1,file2

 

mapreduce.job.cache.archive=

 

private：本地私有文件；针对相应的job使用；public：公共全局文件夹，被所有任务共享使用。

 

 

 

转载于:https://www.cnblogs.com/niejunlei/p/9726206.html