[Hadoop系列]Hadoop的MapReduce中多文件输出

最新推荐文章于 2019-07-15 21:41:48 发布
最新推荐文章于 2019-07-15 21:41:48 发布
阅读量711 收藏
点赞数
分类专栏： Hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jshayzf/article/details/22751217
版权

　inkfish原创，请勿商业性质转载，转载请注明来源（http://blog.youkuaiyun.com/inkfish ）。

　　Hadoop默认的输出是TextOutputFormat，输出文件名不可定制。hadoop 0.19.X中有一个org.apache.hadoop.mapred.lib.MultipleOutputFormat，可以输出多份文件且可以自定义文件名，但是从hadoop 0.20.x中MultipleOutputFormat所在包的所有类被标记为“已过时”，当前如果再使用MultipleOutputFormat，在将来版本的hadoop中可能无法使用。本篇文章中，我们自己实现一个简单的MultipleOutputFormat，并修改hadoop自带的WordCount示例程序来测试结果。（来源：http://blog.youkuaiyun.com/inkfish）

环境：

　　Ubuntu 8.0.4 Server 32bit
　　Hadoop 0.20.1
　　JDK 1.6.0_16-b01
　　Eclipse 3.5（来源：http://blog.youkuaiyun.com/inkfish）

所有代码分为3个类： （来源：http://blog.youkuaiyun.com/inkfish）

1.LineRecordWriter：

　　RecordWriter的一个实现，用于把<Key, Value>转化为一行文本。在Hadoop中，这个类作为TextOutputFormat的一个子类存在，protected访问权限，因此普通程序无法访问。这里仅仅是把LineRecordWriter从TextOutputFormat抽取出来，作为一个独立的公共类使用。（来源：http://blog.youkuaiyun.com/inkfish）

[java] view plain copy print ?
  1. package inkfish.hadoop.study;
  2. import java.io.DataOutputStream;
  3. import java.io.IOException;
  4. import java.io.UnsupportedEncodingException;
  5. import org.apache.hadoop.io.NullWritable;
  6. import org.apache.hadoop.io.Text;
  7. import org.apache.hadoop.mapreduce.RecordWriter;
  8. import org.apache.hadoop.mapreduce.TaskAttemptContext;
  9. import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
  10. /**摘自{@link TextOutputFormat}中的LineRecordWriter。 */
  11. public class LineRecordWriter<K, V> extends RecordWriter<K, V> {
  12. private static final String utf8 = "UTF-8";
  13. private static final byte[] newline;
  14. static {
  15. try {
  16. newline = "/n".getBytes(utf8);
  17. } catch (UnsupportedEncodingException uee) {
  18. throw new IllegalArgumentException("can't find " + utf8 + " encoding");
  19. }
  20. }
  21. protected DataOutputStream out;
  22. private final byte[] keyValueSeparator;
  23. public LineRecordWriter(DataOutputStream out, String keyValueSeparator) {
  24. this.out = out;
  25. try {
  26. this.keyValueSeparator = keyValueSeparator.getBytes(utf8);
  27. } catch (UnsupportedEncodingException uee) {
  28. throw new IllegalArgumentException("can't find " + utf8 + " encoding");
  29. }
  30. }
  31. public LineRecordWriter(DataOutputStream out) {
  32. this(out, "/t");
  33. }
  34. private void writeObject(Object o) throws IOException {
  35. if (o instanceof Text) {
  36. Text to = (Text) o;
  37. out.write(to.getBytes(), 0, to.getLength());
  38. } else {
  39. out.write(o.toString().getBytes(utf8));
  40. }
  41. }
  42. public synchronized void write(K key, V value) throws IOException {
  43. boolean nullKey = key == null || key instanceof NullWritable;
  44. boolean nullValue = value == null || value instanceof NullWritable;
  45. if (nullKey && nullValue) {
  46. return;
  47. }
  48. if (!nullKey) {
  49. writeObject(key);
  50. }
  51. if (!(nullKey || nullValue)) {
  52. out.write(keyValueSeparator);
  53. }
  54. if (!nullValue) {
  55. writeObject(value);
  56. }
  57. out.write(newline);
  58. }
  59. public synchronized void close(TaskAttemptContext context) throws IOException {
  60. out.close();
  61. }
  62. }

2.MultipleOutputFormat：

　　抽象类，主要参考org.apache.hadoop.mapred.lib.MultipleOutputFormat。子类唯一需要实现的方法是：String generateFileNameForKeyValue(K key, V value, Configuration conf)，即通过key和value及conf配置信息决定文件名（含扩展名）。（来源：http://blog.youkuaiyun.com/inkfish）

[java] view plain copy print ?
  1. package inkfish.hadoop.study;
  2. import java.io.DataOutputStream;
  3. import java.io.IOException;
  4. import java.util.HashMap;
  5. import java.util.Iterator;
  6. import org.apache.hadoop.conf.Configuration;
  7. import org.apache.hadoop.fs.FSDataOutputStream;
  8. import org.apache.hadoop.fs.Path;
  9. import org.apache.hadoop.io.Writable;
  10. import org.apache.hadoop.io.WritableComparable;
  11. import org.apache.hadoop.io.compress.CompressionCodec;
  12. import org.apache.hadoop.io.compress.GzipCodec;
  13. import org.apache.hadoop.mapreduce.OutputCommitter;
  14. import org.apache.hadoop.mapreduce.RecordWriter;
  15. import org.apache.hadoop.mapreduce.TaskAttemptContext;
  16. import org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter;
  17. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  18. import org.apache.hadoop.util.ReflectionUtils;
  19. public abstract class MultipleOutputFormat<K extends WritableComparable<?>, V extends Writable>
  20. extends FileOutputFormat<K, V> {
  21. private MultiRecordWriter writer = null;
  22. public RecordWriter<K, V> getRecordWriter(TaskAttemptContext job) throws IOException,
  23. InterruptedException {
  24. if (writer == null) {
  25. writer = new MultiRecordWriter(job, getTaskOutputPath(job));
  26. }
  27. return writer;
  28. }
  29. private Path getTaskOutputPath(TaskAttemptContext conf) throws IOException {
  30. Path workPath = null;
  31. OutputCommitter committer = super.getOutputCommitter(conf);
  32. if (committer instanceof FileOutputCommitter) {
  33. workPath = ((FileOutputCommitter) committer).getWorkPath();
  34. } else {
  35. Path outputPath = super.getOutputPath(conf);
  36. if (outputPath == null) {
  37. throw new IOException("Undefined job output-path");
  38. }
  39. workPath = outputPath;
  40. }
  41. return workPath;
  42. }
  43. /**通过key, value, conf来确定输出文件名（含扩展名）*/
  44. protected abstract String generateFileNameForKeyValue(K key, V value, Configuration conf);
  45. public class MultiRecordWriter extends RecordWriter<K, V> {
  46. /**RecordWriter的缓存*/
  47. private HashMap<String, RecordWriter<K, V>> recordWriters = null;
  48. private TaskAttemptContext job = null;
  49. /**输出目录*/
  50. private Path workPath = null;
  51. public MultiRecordWriter(TaskAttemptContext job, Path workPath) {
  52. super();
  53. this.job = job;
  54. this.workPath = workPath;
  55. recordWriters = new HashMap<String, RecordWriter<K, V>>();
  56. }
  57. @Override
  58. public void close(TaskAttemptContext context) throws IOException, InterruptedException {
  59. Iterator<RecordWriter<K, V>> values = this.recordWriters.values().iterator();
  60. while (values.hasNext()) {
  61. values.next().close(context);
  62. }
  63. this.recordWriters.clear();
  64. }
  65. @Override
  66. public void write(K key, V value) throws IOException, InterruptedException {
  67. //得到输出文件名
  68. String baseName = generateFileNameForKeyValue(key, value, job.getConfiguration());
  69. RecordWriter<K, V> rw = this.recordWriters.get(baseName);
  70. if (rw == null) {
  71. rw = getBaseRecordWriter(job, baseName);
  72. this.recordWriters.put(baseName, rw);
  73. }
  74. rw.write(key, value);
  75. }
  76. // ${mapred.out.dir}/_temporary/_${taskid}/${nameWithExtension}
  77. private RecordWriter<K, V> getBaseRecordWriter(TaskAttemptContext job, String baseName)
  78. throws IOException, InterruptedException {
  79. Configuration conf = job.getConfiguration();
  80. boolean isCompressed = getCompressOutput(job);
  81. String keyValueSeparator = ",";
  82. RecordWriter<K, V> recordWriter = null;
  83. if (isCompressed) {
  84. Class<? extends CompressionCodec> codecClass = getOutputCompressorClass(job,
  85. GzipCodec.class);
  86. CompressionCodec codec = ReflectionUtils.newInstance(codecClass, conf);
  87. Path file = new Path(workPath, baseName + codec.getDefaultExtension());
  88. FSDataOutputStream fileOut = file.getFileSystem(conf).create(file, false);
  89. recordWriter = new LineRecordWriter<K, V>(new DataOutputStream(codec
  90. .createOutputStream(fileOut)), keyValueSeparator);
  91. } else {
  92. Path file = new Path(workPath, baseName);
  93. FSDataOutputStream fileOut = file.getFileSystem(conf).create(file, false);
  94. recordWriter = new LineRecordWriter<K, V>(fileOut, keyValueSeparator);
  95. }
  96. return recordWriter;
  97. }
  98. }
  99. }

3.WordCount：

　　基本上维持hadoop示例中的WordCount原样，主要增加一个静态内部类AlphabetOutputFormat，这个类实现了MultipleOutputFormat，文件命名规则是：以英文字母开头的单词以“首字母.txt”为文件名保存，其他以“other.txt”保存。（来源：http://blog.youkuaiyun.com/inkfish）

[java] view plain copy print ?
  1. package inkfish.hadoop.study;
  2. import java.io.IOException;
  3. import java.util.StringTokenizer;
  4. import org.apache.hadoop.conf.Configuration;
  5. import org.apache.hadoop.fs.Path;
  6. import org.apache.hadoop.io.IntWritable;
  7. import org.apache.hadoop.io.Text;
  8. import org.apache.hadoop.mapreduce.Job;
  9. import org.apache.hadoop.mapreduce.Mapper;
  10. import org.apache.hadoop.mapreduce.Reducer;
  11. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  12. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  13. import org.apache.hadoop.util.GenericOptionsParser;
  14. public class WordCount {
  15. public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
  16. private final static IntWritable one = new IntWritable(1);
  17. private Text word = new Text();
  18. public void map(Object key, Text value, Context context) throws IOException,
  19. InterruptedException {
  20. StringTokenizer itr = new StringTokenizer(value.toString());
  21. while (itr.hasMoreTokens()) {
  22. word.set(itr.nextToken());
  23. context.write(word, one);
  24. }
  25. }
  26. }
  27. public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
  28. private IntWritable result = new IntWritable();
  29. public void reduce(Text key, Iterable<IntWritable> values, Context context)
  30. throws IOException, InterruptedException {
  31. int sum = 0;
  32. for (IntWritable val : values) {
  33. sum += val.get();
  34. }
  35. result.set(sum);
  36. context.write(key, result);
  37. }
  38. }
  39. public static class AlphabetOutputFormat extends MultipleOutputFormat<Text, IntWritable> {
  40. @Override
  41. protected String generateFileNameForKeyValue(Text key, IntWritable value, Configuration conf) {
  42. char c = key.toString().toLowerCase().charAt(0);
  43. if (c >= 'a' && c <= 'z') {
  44. return c + ".txt";
  45. }
  46. return "other.txt";
  47. }
  48. }
  49. public static void main(String[] args) throws Exception {
  50. Configuration conf = new Configuration();
  51. String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
  52. if (otherArgs.length != 2) {
  53. System.err.println("Usage: wordcount <in> <out>");
  54. System.exit(2);
  55. }
  56. Job job = new Job(conf, "word count");
  57. job.setJarByClass(WordCount.class);
  58. job.setMapperClass(TokenizerMapper.class);
  59. job.setCombinerClass(IntSumReducer.class);
  60. job.setReducerClass(IntSumReducer.class);
  61. job.setOutputKeyClass(Text.class);
  62. job.setOutputValueClass(IntWritable.class);
  63. job.setOutputFormatClass(AlphabetOutputFormat.class);//设置输出格式
  64. FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
  65. FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
  66. System.exit(job.waitForCompletion(true) ? 0 : 1);
  67. }
  68. }

在我测试环境中运行结果：

[java] view plain copy print ?
  1. 10/01/08 20:35:34 INFO mapred.JobClient: Job complete: job_201001052238_0013
  2. 10/01/08 20:35:34 INFO mapred.JobClient: Counters: 15
  3. 10/01/08 20:35:34 INFO mapred.JobClient: Job Counters
  4. 10/01/08 20:35:34 INFO mapred.JobClient: Launched reduce tasks=1
  5. 10/01/08 20:35:34 INFO mapred.JobClient: Rack-local map tasks=38
  6. 10/01/08 20:35:34 INFO mapred.JobClient: Launched map tasks=38
  7. 10/01/08 20:35:34 INFO mapred.JobClient: FileSystemCounters
  8. 10/01/08 20:35:34 INFO mapred.JobClient: FILE_BYTES_READ=1473227
  9. 10/01/08 20:35:34 INFO mapred.JobClient: FILE_BYTES_WRITTEN=1370636
  10. 10/01/08 20:35:34 INFO mapred.JobClient: Map-Reduce Framework
  11. 10/01/08 20:35:34 INFO mapred.JobClient: Reduce input groups=0
  12. 10/01/08 20:35:34 INFO mapred.JobClient: Combine output records=29045
  13. 10/01/08 20:35:34 INFO mapred.JobClient: Map input records=19313
  14. 10/01/08 20:35:34 INFO mapred.JobClient: Reduce shuffle bytes=517685
  15. 10/01/08 20:35:34 INFO mapred.JobClient: Reduce output records=0
  16. 10/01/08 20:35:34 INFO mapred.JobClient: Spilled Records=58090
  17. 10/01/08 20:35:34 INFO mapred.JobClient: Map output bytes=1393868
  18. 10/01/08 20:35:34 INFO mapred.JobClient: Combine input records=119552
  19. 10/01/08 20:35:34 INFO mapred.JobClient: Map output records=119552
  20. 10/01/08 20:35:34 INFO mapred.JobClient: Reduce input records=29045
  21. user@cloud-2:~/software/test$ ls out/
  22. a.txt c.txt e.txt g.txt i.txt k.txt l.txt n.txt o.txt q.txt s.txt u.txt w.txt y.txt
  23. b.txt d.txt f.txt h.txt j.txt _logs m.txt other.txt p.txt r.txt t.txt v.txt x.txt z.txt
  24. user@cloud-2:~/software/test$

Hadoop MapReduce常用输入输出格式
08-25 924
这里介绍MapReduce常用的几种输入输出格式。 三种常用的输入格式：TextInputFormat , SequenceFileInputFormat , KeyValueInputFormat . 　　 1) TextInputFormat 为默认格式。不特地指明 MapReduce 的输入格式时，默认使用 TextInputFormat 的输入格式。它读取文件的行。　...
HDFS 下的 MapReduce 编程应用
weixin_46203911的博客
05-28 373
云计算课的实验：利用 MapReduce 编程模型实现对文件中单词进行词频统计。 简单记录一下实验过程，方便回顾。 1、启动yarn 输入： ./sbin/start-all.sh 通过进程号和端口占用情况看RM的服务是否启动： jps lsof -i|grep 6474 (这个是你当前RM进程号) 通过Web短查看系统（需关闭防火墙），默认访问地址。 2、执行wordcount例子 1）在hdfs系统中，创建目录并上传snowman.txt输入数据： ...
hadoop文件输出控制，多路径输出到不同文件
longshenlmj的专栏
06-07 1万+
hadoop的map和reduce的输出路径是通过两个函数设定： FileInputFormat.setInputPaths(job, args[0]); FileOutputFormat.setOutputPath(job, new Path(args[1])); 然后，用context类型对象，通过write（key,value）完成输出。 现在我需要实现将key和value写到一个文
Hadoop reduce多个输出
Cody的笔记本
12-05 4301
转自：Hadoop in Action 在hadoop中，想要reduce支持多个输出，有两种实现方式。 第一种就是继承MultipleTextOutputFormat类，重写generateFileNameForKey方法。 public static class PartitionByCountryMTOF extends MultipleTextOutputFormat
hadoop MapReduce —— 输出每个单词所对应的文件
weixin_30680385的博客
12-15 163
下面是四个文件及其内容。 代码实现： Mapper： package cn.tedu.invert; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoo...
hadoop拾遗（五）---- mapreduce 输出到多个文件 / 文件夹
04-16 180
今天要把HBase中的部分数据转移到HDFS上，想根据时间戳来自动输出到以时间戳来命名的每个文件夹下。虽然以前也做过相似工作，但有些细节还是忘记了，所以这次写个随笔记录一下。 package com.chuntent.hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configur...
Hadoop原理与技术MapReduce实验
05-24
（1）熟悉Hadoop开发包 （2）编写MepReduce程序 （3）调试和运行MepReduce程序 （4）完成上课老师演示的内容 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 二、实验内容 1.单词计数实验...
大数据与云计算培训学习资料 Hadoop的MapReduce中多文件输出 共9页.pdf
03-20
【大数据与云计算培训学习资料 Hadoop的MapReduce中多文件输出】 MapReduce是Hadoop框架的核心部分，主要用于处理大规模数据的分布式计算。在默认情况下，MapReduce任务的输出是一个单一的文件，由TextOutputFormat...
Hadoop MapReduce多输出详细介绍
01-10
Hadoop MapReduce多输出 FileOutputFormat及其子类产生的文件放在输出目录下。每个reducer一个文件并且文件由分区号命名：part-r-00000，part-r-00001，等等。有时可能要对输出的文件名进行控制或让每个reducer输出...
基于 Hadoop 平台，使用 MapReduce 编程，统计NBA球员五项数据.zip
最新发布
03-13
之后，我们可以通过 Hadoop 命令行工具提交作业，指定输入数据路径（NBA 数据文件所在的 HDFS 路径）和输出结果目录。 在实际应用中，我们还需要考虑一些优化策略，如分区和排序，以提高 MapReduce 的效率。分区...
MapReduce中的自定义多目录/文件名输出HDFS
热门推荐
wisgood的专栏
11-25 1万+
转载自 http://my.oschina.net/leejun2005/blog/94706 最近考虑到这样一个需求： 需要把原始的日志文件用hadoop做清洗后，按业务线输出到不同的目录下去，以供不同的部门业务线使用。 这个需求需要用到MultipleOutputFormat和MultipleOutputs来实现自定义多目录、文件的输出。 需要注意的是，在hadoop
Hadoop MapReduce之上传文件到HDFS
笨字第1号
08-01 5722
网络上转载与一个网友的评论，这里记录一下，以备不时之需 //本地文件上传到HDFS上 public static void upload(String src,String dst) throws FileNotFoundException,IOException{       InputStream in = new BufferedInputStream(new FileInputS
HDFS 常用命令
weixin_30713953的博客
07-31 345
参考文档：http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html Hadoop createSnapshot和deleteSnapshot命令,请戳一下链接： createSnapshot和deleteSnapshot 注意： 以下指令均是在，Linux 命令...
hadoop任务map将其输入写入本地硬盘，而非hdfs，为什么
weixin_34007020的博客
11-01 1379
2019独角兽企业重金招聘Python工程师标准>>> ...
（十）Mapper多输入源及Reduce多输出文件
qinshi965273101的专栏
12-04 936
目的 Mapper多个输入源，处理后变成一个输出。 reduce多输出源，根据输出的数据，按照自己的要求来决定，输出到不同的文件里。 案例 有以下两个文件，作为输入源（Mapper处理） 最后把每个人的成绩打印到不同的文件里（Reduce处理） tom math 90 english 98 jary math 78 english 87 rose math 87 english 90...
hadoop学习（二）分布式文件系统与 HDFS shell操作
u010391342的博客
09-13 462
HDFS简介 数据量越来越大，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统 管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就 是分布式文件管理系统 。 分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间 分布式文件管理系统很多，HDFS 只是其中一种。适用于一次写入、多次查询的情 况，不支持...
-大数据入门-2-Hadoop-HDFS =解析整理其常用命令
chen_2_2的博客
07-15 352
1 恢复命令 [hadoop@hadoop001 hadoop]$ bin/hdfs dfs 这样命令帮助没有 Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src&...
MapReduce输出结果到多个文件
Searcher_Recommeder的博客
11-04 2976
利用MultipleOutputs可以方便的实现将结果按自己的要求输出到不同的文件，方法简单， 1,直接在map或reduce中加入类似如下的代码， 3,用mos.write替换以前的context.write 3,在main中利用MultipleOutputs.addNamedOutput(job, "shortkey", TextOutputFormat.class, Text.class, IntWritable.class);添加输出路径。
自定义Hadoop MapReduce多文件输出实现
"这篇文章主要介绍了如何在Hadoop MapReduce中使用MultipleOutputFormat来实现多文件输出，以及如何根据文件内容进行分目录输出。虽然在较新的Hadoop版本中，MultipleOutputFormat已被标记为过时，但文章展示了如何...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值