hadoop中Map的输出文件命名与分片次序一致

原创于 2012-04-12 09:29:34 发布 · 795 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #string #path

hadoop 专栏收录该内容

21 篇文章

订阅专栏

本文深入解析getSpilit源码中如何实现从后往前加的策略，详细阐述了算法流程和关键步骤，对于理解文件分割机制具有重要指导意义。

从后往前加

：getSpilit源码

        while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {
          String[] splitHosts = getSplitHosts(blkLocations,
              length-bytesRemaining, splitSize, clusterMap);
          splits.add(new FileSplit(path, length-bytesRemaining, splitSize,
              splitHosts));
          bytesRemaining -= splitSize;
        }