hadoop 代码中获取文件名_hdfs获取文件名-优快云博客

本文链接：https://blog.youkuaiyun.com/bitcarmanlee/article/details/51735053

本文介绍如何在Hadoop MapReduce任务中获取输入文件名，包括使用Python和Java编程语言的方法。对于Python，可以通过环境变量mapreduce_map_input_file获取；而在Java中，则需通过MapContext对象的InputSplit获取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice
欢迎大家star，留言，一起学习进步

在hadoop的MR相关代码中，经常需要获得mapper输入的文件名，从而针对不同的文件进行不同的操作。下面简单地介绍一下如果在MR代码中获取文件名

实际中经常用python开发streaming程序，在python代码中可以用如下方式获得文件名：

import os

filepath = os.environ["mapreduce_map_input_file"]

通过上面的代码即可达到获取文件名的目的，通过代码也很容易看出，文件名保存在名为mapreduce_map_input_file的环境变量中。

需要稍微注意的地方有两点：
1.filepath保存的是文件在hdfs上的完整路径。
2.新版本的api为mapreduce_map_input_file，老版本的api为map_input_file，在集群上尝试了老版本的api，代码会报错。

在java代码中获取文件名，需要得到input split 所在的文件名，需要从map函数中的context参数着手。

// 获取 input split 所在的文件名
private String getFileName(MapContext context) {
    return ((FileSplit) context.getInputSplit()).getPath().getName();
}

如果需要获得在hdfs上的绝对路径，可以用以下代码实现：

String filepath = ((FileSplit)context.getInputSplit()).getPath().toString();

获取文件名的大致流程为：Context(map函数里) → InputSplit → FileSplit → Path → String(file name)。