hadoop大量小文件的优化策略

Hadoop CombineTextInputFormat配置

最新推荐文章于 2024-05-25 23:02:39 发布

原创最新推荐文章于 2024-05-25 23:02:39 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #优化

hadoop 专栏收录该内容

5 篇文章

订阅专栏

本文介绍了如何在Hadoop中使用CombineTextInputFormat类来设置输入切分的最大和最小大小，这对于优化MapReduce任务的处理效率至关重要。

这里写图片描述

代码:

    //如果不设置InputFormat，它默认用的是TextInputformat.class
        job.setInputFormatClass(CombineTextInputFormat.class);
        CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);
        CombineTextInputFormat.setMinInputSplitSize(job, 2097152);