本文详细介绍了一种使用HDFS进行数据目录大小分析的方法，通过一系列shell命令组合，精确筛选并展示出特定条件下的文件大小及其修改时间。该过程涉及多阶段的数据过滤，包括去除不符合大小标准的记录和排除特定年份的文件。
hdfs dfs -du -h /hive/warehouse/test.db/*/*/ | awk '{print $1$2 "\t" $5}' | awk '{if($1 ~/K/ || $1 ~/M/) print $0}' | awk '{if($1 ~/M/) print $0}'|sed 's/M//g'| awk '{if($1 <128) print $1"M""\t"$2}'
hdfs dfs -du -h /hive/warehouse/test.db/*/*/ | awk '{print $1$2 "\t" $5}' | awk '{if($1 ~/K/ || $1 ~/M/) print $0}' |awk '{if($1 ~/K/) print $0}' |egrep -v '2018|2019'
扫一扫
1026
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
