MapReduce split和block的关系

最新推荐文章于 2021-11-02 22:07:12 发布

hongmofang10

最新推荐文章于 2021-11-02 22:07:12 发布

阅读量2.1k

点赞数 4

分类专栏： MapReduce 文章标签： mapreduce 大数据

本文链接：https://blog.youkuaiyun.com/hongmofang10/article/details/118199089

版权

MapReduce 专栏收录该内容

2 篇文章

订阅专栏

block是物理上的划分，hadoop 2.x中block的大小默认为128M，每一个文件都会被切分成多个block。

split只是一种逻辑上划分，目的是为了让Map Task更好的获取数据输入。

例子：如何计算map数量？

假设有两个文件，block数如下：

File 1 : Block11, Block 12, Block 13, Block 14, Block 15
File 2 : Block21, Block 22, Block 23

totalSize = 8（总的block数量）
设置的并行度为2，那么：
goalSize = 8/2=4

那么一个split包含的block数目是：

long splitSize = computeSplitSize(goalSize, minSize, blockSize);
protected long computeSplitSize(long goalSize, long minSize, long blockSize) {
         return Math.max(minSize, Math.min(goalSize, blockSize));
}

所以File1被分成两个split，File2一个split。
Split 1: Block11, Block12, Block13,Block14
Split 2: Block15
Split 3: Block21, Block22, Block23

maptask的个数是由splits的长度决定的。最终map task的数量是3。

map数并不是单纯的由用户设置决定的，需要最终去计算。

FileSplit中的这个属性有利于调度作业时候的数据本地性问题。如果一个tasktracker前来索取task，jobtracker就会找个task给他，找到一个maptask，得先看这个task的输入的FileSplit里hosts是否包含tasktracker所在机器，也就是判断和该tasktracker同时存在一个机器上的datanode是否拥有FileSplit中某个Block的备份。