MapReduce之合并小文件---量小文件的切片优化（CombineTextInputFormat）

最新推荐文章于 2022-06-23 16:17:53 发布

原创最新推荐文章于 2022-06-23 16:17:53 发布 · 288 阅读

0 ·

CC 4.0 BY-SA版权

hadoop 同时被 2 个专栏收录

45 篇文章

订阅专栏

mapreduce

22 篇文章

订阅专栏

本文介绍如何通过调整MapReduce作业设置，将多个小文件合并处理以减少切片数量，提高处理效率。具体包括使用CombineTextInputFormat及设置最大最小输入切片大小。

0）需求：将输入的大量小文件合并成一个切片统一处理。

1）输入数据：准备5个小文件

2）实现过程

（1）不做任何处理，运行需求1中的wordcount程序，观察切片个数为5

（2）在WordcountDriver中增加如下代码，运行程序，并观察运行的切片个数为1

// 如果不设置InputFormat，它默认用的是TextInputFormat.class

job.setInputFormatClass(CombineTextInputFormat.class);


CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);// 4m

CombineTextInputFormat.setMinInputSplitSize(job, 2097152);// 2m