第3节 mapreduce高级：5、6、通过inputformat实现小文件合并成为sequenceFile格式

1.1 需求

无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案 

1.2 分析

小文件的优化无非以下几种方式：

1、  在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS；

2、  在业务处理之前，在HDFS上使用mapreduce程序对小文件进行合并。

　　自定义inputformat，将hdfs上面已经存在的多个小文件合并成一个sequenceFile，
　　sequenceFile也是一种文件格式：里面装的内容就是一个个的小文件的内容的字节数组；

3、  在mapreduce处理时，可采用combineInputFormat提高效率。

1.3 实现

本节实现的是上述第二种方式

程序的核心机制：

自定义一个InputFormat

改写RecordReader，实现一次读取一个完整文件封装为KV

在输出时使用SequenceFileOutPutFormat输出合并文件

 

自定义inputformat实现文件一次性全部读取到BytesWritable里面去

第一步：获取到文件的切片
第二步：通过fileSystem，打开文件的输入流
第三步：通过工具类将我们的输入流拷贝到字节数组当中去
第四步：将我们字节数组的内容全部封装到BytesWritable里面去

 

 详见代码

转载于:https://www.cnblogs.com/mediocreWorld/p/11031189.html