numSplits源码分析

最新推荐文章于 2023-09-14 23:08:58 发布

置顶 xiaoxin1024

最新推荐文章于 2023-09-14 23:08:58 发布

阅读量427

点赞数 1

分类专栏：自学成功计划文章标签： Hadoop

本文链接：https://blog.youkuaiyun.com/xiaoxin1024/article/details/83624554

版权

成功计划同时被 2 个专栏收录

32 篇文章

订阅专栏

自学

27 篇文章

订阅专栏

本文详细解析了Hadoop MapReduce作业如何根据输入文件大小和预设的Map任务数，智能地将大文件拆分为多个小任务进行并行处理，以提高数据处理效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

/** Splits files returned by {@link #listStatus(JobConf)} when
   * they're too big.*/ 
//numSplits：来自job.getNumMapTasks()，即在job启动时用org.apache.hadoop.mapred.JobConf.setNumMapTasks(int n)设置的值，给M-R框架的Map数量的提示
  public InputSplit[] getSplits(JobConf job, int numSplits)
    throws IOException {
      //一个简化的秒表实现，可以在纳秒内测量时间
    StopWatch sw = new StopWatch().start();
      //返回FileStatus对象数组-->getInputPaths获得输入目录列表
    FileStatus[] files = listStatus(job);
    
    // Save the number of input files for metrics/loadgen
    job.setLong(NUM_INPUT_FILES, files.length);
    long totalSize = 0;                           // compute total size
    for (FileStatus file: files) {                // check we have valid files
      if (file.isDirectory()) {
        throw new IOException("Not a file: "+ file.getPath());
      }
      //totalSize：是整个Map-Reduce job所有输入的总大小
      totalSize += file.getLen();
    }

    //goalSize为“InputFile大小”/“我们在配置文件中定义的mapred.map.tasks”值
      //如果不给默认初始化0
    long goalSize = totalSize / (numSplits == 0 ? 1 : numSplits); 
    //minSize：取的1和mapred.min.split.size中较大的一个。(getLong()方法，如果不设置 为null 返回defaultValue 1，如果设置后，返回设置数值对应的16进制(Long)）
    long minSize = Math.max(job.getLong(org.apache.hadoop.mapreduce.lib.input.
      FileInputFormat.SPLIT_MINSIZE, 1), minSplitSize);

    // generate splits
    ArrayList<FileSplit> splits = new ArrayList<FileSplit>(numSplits);
    //这个类带有网络拓扑信息
    NetworkTopology clusterMap = new NetworkTopology();
    for (FileStatus file: files) {
      Path path = file.getPath();
      //得到文件的长度
      long length = file.getLen();
      if (length != 0) {//如果不为0
        //返回拥有此路径的文件系统
        FileSystem fs = path.getFileSystem(job);
        //该数组含有块的网络位置、主机信息包含块副本和其他块元数据(例如文件)与块、长度、是否损坏等相关的偏移量)
        BlockLocation[] blkLocations;
        //如果LocatedFileStatus是FileStatus的子类
        if (file instanceof LocatedFileStatus) {
          //类型强转后获得文件的块位置
          blkLocations = ((LocatedFileStatus) file).getBlockLocations();
        } else {
          //不能向下转型   返回一个包含主机名、偏移量和大小的数组
          blkLocations = fs.getFileBlockLocations(file, 0, length);
        }
        //如果可以切片，默认为true
        if (isSplitable(fs, path)) {
          //获取文件的块大小
          long blockSize = file.getBlockSize();
          //得到分片的大小
          long splitSize = computeSplitSize(goalSize, minSize, blockSize);
		
          //定义一个bytesRemaining(剩余文件的长度) 初始值等于文件的长度
          long bytesRemaining = length;
          //只要文件的长度除以分片的大小 大于 SPLIT_SLOP(默认为1.1D)
          while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {
              //返回两个数组——其中一个主机对这个分割贡献最大，和对这个分割贡献最大的主机之一，它拥有数据缓存到它们上---getSplitHostsAndCachedHosts函数识别并返回做出共享的主机(贡献大的优先机架上贡献少的)
            String[][] splitHosts = getSplitHostsAndCachedHosts(blkLocations,
                length-bytesRemaining, splitSize, clusterMap);
              //添加到List集合中
            splits.add(makeSplit(path, length-bytesRemaining, splitSize,
                splitHosts[0], splitHosts[1]));
              //剩余文件的长度
            bytesRemaining -= splitSize;
          }

            //如果相除后小于SPLIT_SLOP(默认的溢出值)且剩余文件长度不等于0
          if (bytesRemaining != 0) {
              //同样返回两个数组——其中一个主机对这个分割贡献最大，和对这个分割贡献最大的主机之一，它拥有数据缓存到它们上
            String[][] splitHosts = getSplitHostsAndCachedHosts(blkLocations, length - bytesRemaining, bytesRemaining, clusterMap);
            splits.add(makeSplit(path, length - bytesRemaining, bytesRemaining,
                splitHosts[0], splitHosts[1]));
          }
        } else {//如果设置为不能切分，则把整个文件及其主机信息等放入数组添加到集合
          String[][] splitHosts = getSplitHostsAndCachedHosts(blkLocations,0,length,clusterMap);
          splits.add(makeSplit(path, 0, length, splitHosts[0], splitHosts[1]));
        }
      } else { 
        //Create empty hosts array for zero length files
        splits.add(makeSplit(path, 0, length, new String[0]));
      }
    }