本文介绍了Hadoop中FileInputFormat类的重要方法及配置参数，包括如何列出输入目录、生成文件分割等核心操作，并详细解释了最小和最大分割大小的设置。
先上类图：
FileInputFormat中比较重要的方法：
listStatus：List input directories.
getSplits：Generate the list of files and make them into FileSplits.
===========================================================
下面几个参数可以用于配置FileInputFormat：
mapred.input.pathFilter.class：输入文件过滤器，通过过滤器的文件才会加入InputFormat；
mapred.min.split.size：最小的划分大小；
mapred.max.split.size：最大的划分大小；
mapred.input.dir：输入路径，用逗号做分割。
===========================================================
扫一扫
647
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
