FileInputFormat切片源码及解析、切片大小参数配置

1．Job提交流程源码详解

1．Job提交流程源码详解
   waitForCompletion()
   submit();
// 1建立连接
	connect();	
		// 1）创建提交Job的代理
		new Cluster(getConfiguration());
			// （1）判断是本地yarn还是远程
			initialize(jobTrackAddr, conf); 

// 2 提交job
submitter.submitJobInternal(Job.this, cluster)
	// 1）创建给集群提交数据的Stag路径
	Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);

	// 2）获取jobid ，并创建Job路径
	JobID jobId = submitClient.getNewJobID();

	// 3）拷贝jar包到集群
copyAndConfigureFiles(job, submitJobDir);	
	rUploader.uploadFiles(job, jobSubmitDir);

// 4）计算切片，生成切片规划文件
writeSplits(job, submitJobDir);
		maps = writeNewSplits(job, jobSubmitDir);
		input.getSplits(job);

// 5）向Stag路径写XML配置文件
writeConf(conf, submitJobFile);
	conf.writeXml(out);

// 6）提交Job,返回提交状态
status = submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials());

FileInputFormat切片源码解析：

一、程序先找到你数据存储的目录。

二、开始遍历处理（规划切片）目录下的每一个文件

三、遍历第一个文件

       1.获取文件大小fs.sizeOf

       2.计算切片大小

            computeSplitSize(Math.max(minSize,Math.min(maxSize,blocksize)))=blocksize=128M

       3.默认情况下，切片大小=blocksize

       4.  开始切，形成第1个切片：0:128M 第2个切片128:256M 第3个切片256M:300M（每次切片时，都要判断切完剩下的部分是否大于块的1.1倍，不大于1.1倍就划分一块切片）。

       5.将切片信息写到一个切片规划文件中

       6.整个切片的核心过程在getSplit()方法中完成

      7. InputSplit只记录了切片的元数据信息，比如起始位置、长度以及所在的节点列表等。

  四、提交切片规划文件到YARN上，YARN上的MrAppMaster就可以根据切片规划文件计算开启MapTask个数。

 

    FileInputFormat切片机制

    一、切片机制

      1 、简单地按照文件的内容长度进行切片

      2、切片大小，默认等于Block大小

      3、切片时不考虑数据集整体，而是逐个针对每一个文件单独切片

    二、案例分析

         1、输入数据有两个文件：

                 file1.txt    320M        file2.txt    10M

         2、经过FileInputFormat的切片机制运算后，形成的切片信息如下：

                         file1.txt.split1--  0~128

                         file1.txt.split2--  128~256

                         file1.txt.split3--  256~320

                         file2.txt.split1--  0~10M

 

FileInputFormat切片大小的参数配置:

     （1）源码中计算切片大小的公式

            Math.max(minSize, Math.min(maxSize, blockSize));

            mapreduce.input.fileinputformat.split.minsize=1 默认值为1

            mapreduce.input.fileinputformat.split.maxsize= Long.MAXValue 默认值Long.MAXValue

               因此，默认情况下，切片大小=blocksize。

    （2）切片大小设置

               maxsize（切片最大值）：参数如果调得比blockSize小，则会让切片变小，而且就等于配置的这个参数的值。

               minsize（切片最小值）：参数调的比blockSize大，则可以让切片变得比blockSize还大。

     （3）获取切片信息API

            // 获取切片的文件名称

              String name = inputSplit.getPath().getName();

             // 根据文件类型获取切片信息

             FileSplit inputSplit = (FileSplit) context.getInputSplit();