hadoop自定义输出文件名

最新推荐文章于 2021-10-02 22:02:03 发布

原创最新推荐文章于 2021-10-02 22:02:03 发布 · 2.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #mapreduce #虚拟机 #string #框架 #api

云计算同时被 2 个专栏收录

7 篇文章

订阅专栏

hadoop

6 篇文章

订阅专栏

本文介绍如何在Hadoop中自定义输出文件名，通过继承并覆盖MultipleTextOutputFormat的方法，实现了每个Reduce任务生成独立且按序编号的文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop的默认文件输出格式是“TextOutputFormat”输出的文件名是“part-r-00000”这种类型，能不能实现自定义的文件名呢？我试了一下可以，下面是代码

private static class MyMutipleTextOutputFormat extends MultipleTextOutputFormat<Text, IntWritable> {

private static AtomicInteger atomicInteger = new AtomicInteger(1);

/**
* 实现一个REDUCE一个文件，且文件名自定义。
*/
@Override
protected String generateLeafFileName(String name) {
// 使用 AtomicInteger 和 “i++”是不行的，因为这个是跨虚拟机的
// int prefix = atomicInteger.incrementAndGet();
// return prefix + ".txt";
// UUID uuid = UUID.randomUUID();
// return uuid.toString() + ".txt";
// 由于name "part-r-00000"所以从第七个字符开始取，然后转成INT
int _name = Integer.parseInt(name.substring(7));
return _name + ".txt";
}
}

jobconf.setOutputFormat(MyMutipleTextOutputFormat.class);

本想用一个AtomicInteger 来实现生成“1.txt, 2.txt 3.txt”的文件，但是mapreduce框架运行的时候是跨虚拟机的，导致不能实现。实在没办法就用“generateLeafFileName”方法的参数“name”做文章，“name”的值是“part-r-00000”这种值，（框架内实现了文件名累加）就拿它解析然后拼凑文件名。虽然实现的不是很完美，但是还是实现了功能。

此外这个当使用hadoop-0.20.2编写代码的时候不能用新的API，因为job.setOutputFormatClass();会报错，网上查了下好像说是0.20.2里面的一个BUG。所以用就API来编写代码。

下面是我运行的结果

-rw-r--r-- 3 analyzer supergroup 1174 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/0.txt
-rw-r--r-- 3 analyzer supergroup 1014 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/1.txt
-rw-r--r-- 3 analyzer supergroup 1312 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/2.txt
-rw-r--r-- 3 analyzer supergroup 1035 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/3.txt
-rw-r--r-- 3 analyzer supergroup 1261 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/4.txt
-rw-r--r-- 3 analyzer supergroup 1159 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/5.txt
-rw-r--r-- 3 analyzer supergroup 1424 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/6.txt
-rw-r--r-- 3 analyzer supergroup 1321 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/7.txt
-rw-r--r-- 3 analyzer supergroup 1238 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/8.txt
-rw-r--r-- 3 analyzer supergroup 1282 2012-09-23 22:14 /user/analyzer/output/2011-01-01/20120923221419/9.txt