当每个小文件数据量比较小的时候，可以通过命令的方式进行小文件的合并如：
hadoop fs -cat hdfs://cdh5/tmp/lxw1234/*.txt | hadoop fs -appendToFile - hdfs://cdh5/tmp/hdfs_largefile.txt，当数据量比较大的时候建议使用MR进行小文件的合并
本文介绍在数据量较小时，如何通过命令方式合并小文件，例如使用Hadoop的hadoopfs-cat和hadoopfs-appendToFile命令。对于大规模数据，推荐采用MapReduce进行高效的小文件合并。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
