MapReduce切片源码

最新推荐文章于 2024-08-20 10:25:03 发布

原创

最新推荐文章于 2024-08-20 10:25:03 发布 · 置顶 · 366 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#MapReduce #源码 #Splits

MapReduce的splits切片逻辑源码分析

as we know！我们认知中的splits大小默认与block的大小相同！即有几个block就会有几个splits，这样真的正确吗？

先贴上源码：

在这里插入图片描述
如图所示为我们编写的一个mapreduce的driver程序，参考hadoop官网。

当我们进入FileInputFormat类中，发现该类是一个一个继承自FileInput的抽象类
在这里插入图片描述
该类中包含一个getsplits方法

返回值是一个InputSplit的List，这就是我们今天重点研究的对象。
先贴上它的全部代码
public List getSplits(JobContext job) throws IOException {
Stopwatch sw = new Stopwatch().start();
long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));
long maxSize = getMaxSplitSize(job);

// generate splits
List<InputSplit> splits = new ArrayList<InputSplit>();
List<FileStatus> files = listStatus(job);
for (FileStatus file: files) {
  Path path = file.getPath();
  long length = file.getLen();
  if (length != 0) {
    BlockLocation[] blkLocations;
    if (file instanceof LocatedFileStatus) {
      blkLocations = ((LocatedFileStatus) file).getBlockLocations();
    } else {
      FileSystem fs = path.getFileSystem(job.getConfiguration());
      blkLocatio