FileInputFormat.setInputPaths的执行原理

最新推荐文章于 2025-02-14 12:23:56 发布

曲健磊的个人博客

最新推荐文章于 2025-02-14 12:23:56 发布

阅读量3k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：【hadoop】文章标签： mapreduce FileInputFormat

本文链接：https://blog.youkuaiyun.com/a909301740/article/details/95453040

本文探讨了MapReduce中FileInputFormat.setInputPaths方法的执行原理，指出该方法实质是在Configuration中设置key-value对。通过示例展示了在MapReduce驱动程序中可以直接在Configuration中设置相应参数，达到相同效果，且FileOutputFormat亦遵循此逻辑。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天在看 MapReduce 源码的时候看了一下 FileInputFormat 的 setInputPaths 方法，内容如下：

  /**
   * Set the array of {@link Path}s as the list of inputs
   * for the map-reduce job.
   * 
   * @param job The job to modify 
   * @param inputPaths the {@link Path}s of the input directories/files 
   * for the map-reduce job.
   */ 
  public static void setInputPaths(Job job, 
                                   Path... inputPaths) throws IOException {
   
   
    Configuration conf = job.getConfiguration();
    Path path = inputPaths[0].getFileSystem(conf).makeQualified(inputPaths[0]);
    StringBuffer str = new StringBuffer(StringUtils.escapeString(path.toString()));
    for(int i = 1; i < inputPaths<