shell awk实现删除hdfs上某日期之前的文件

最新推荐文章于 2025-01-20 15:19:30 发布

原创最新推荐文章于 2025-01-20 15:19:30 发布 · 190 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #hadoop #大数据

本文介绍了一个用于自动清理Hadoop HDFS上超过20天未被修改的文件的Shell脚本。该脚本首先列出指定目录下的所有文件，然后筛选出过期文件并进行删除操作，有效管理HDFS存储空间。

hadoop fs -ls /user/zhang  查看hdfs上的文件，awk $6是日期， $8是文件路径

#shell脚本
data=$(hadoop fs -ls /user/zhang/data | awk '{print $8}')
data_arr=(${data// / })
for sub_file in ${data_arr[@]}
do
    old_files=$(hadoop fs -ls $sub_file | awk 'BEGIN{ twenty_days_ago=strftime("%F", systime()-20*24*3600) }{ if($6<twenty_days_ago){printf "%s\n", $8} }'
    )
    arr=(${old_files// / })
    for oldfile in ${arr[@]}
    do
        hadoop dfs -rm -r $oldfile
    done
done

#如是集群
把hadoop替换为hadoop --cluster z-hadoop
z-hadoop是我的集群的名字
systime() 系统当前日期的秒数
strftime 返回的是2020-06-30
24*3600 一天的秒数

参考：https://www.cnblogs.com/yankang/p/9773996.html