mapreduce如何获得文件的路径

最新推荐文章于 2024-12-07 11:26:39 发布

chengyuan2789

最新推荐文章于 2024-12-07 11:26:39 发布

阅读量536

点赞数

文章标签：大数据 python java

原文链接：https://my.oschina.net/weikan/blog/690506

版权

本文探讨了在Hadoop中处理输入分片的各种方法，包括使用inputSplit、MultipleInputs和CombineTextInputFormat时的注意事项及解决方案。特别介绍了如何在CombineFileSplit情况下获取文件全路径的简便方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通常的做法是通过inputSplit来获得，如下：

InputSplit split = context.getInputSplit();

但是，如果使用MultipleInputs的话，则需要进行转化，将TaggedInputSplit转成InputSplit，如下：

InputSplit split = context.getInputSplit();
Class<? extends InputSplit> splitClass = split.getClass();

   FileSplit fileSplit = null;
   if (splitClass.equals(FileSplit.class)) {
   fileSplit = (FileSplit) split;
   } else if (splitClass.getName().equals("org.apache.hadoop.mapreduce.lib.input.TaggedInputSplit")) {
   try {
   Method getInputSplitMethod = splitClass.getDeclaredMethod("getInputSplit");
   getInputSplitMethod.setAccessible(true);
   fileSplit = (FileSplit) getInputSplitMethod.invoke(split);
   } catch (Exception e) {
   throw new IOException(e);
   }
   }

但是，进一步说，如果使用了CombineTextInputFormat的话，那么上述的代码仍然会报错，org.apache.hadoop.mapreduce.lib.input.CombineFileSplit cannot be cast to org.apache.hadoop.mapreduce.lib.input.FileSplit。并且CombineFileSplit内部也没有提供返回正在处理的InputSplit，虽然本身是多个InputSplit的组合。

有一个简单的办法，通过String filename = context.getConfiguration().get("map.input.file");便可以直接获得文件的全部路径。

转载于:https://my.oschina.net/weikan/blog/690506