weixin_51100441的博客

原创 大数据HDFS集群运维之小文件统计

随着公司集群规模越来越大，数据增长越来越快，文件Size比HDFS的Block Size（默认128MB）小的多的文件，小文件治理也迫在眉睫。目前采用离线分析Namenode元数据的方式进行统计分析。提示：以下是本篇文章正文内容，下面案例可供参考使用Fsimage文件可以获取到HDFS的文件情况，使用sql进行统计分析能获取到集群文件使用情况，具体看业务需要，运维人员也方便对现HDFS集群做出更好的判断。