定期清理hdfs日志脚本

最新推荐文章于 2023-11-23 10:11:04 发布

原创最新推荐文章于 2023-11-23 10:11:04 发布 · 1.7k 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了一个用于Hadoop集群的Shell脚本，该脚本会在每月28日0点10分自动运行，检查并删除指定日期范围内Flume收集的Nginx日志文件。脚本使用了date命令来获取当前日期和上个月的日期，通过循环遍历上个月的所有天数，并检查是否有对应日期的日志目录存在，如果存在则删除。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/bin/sh

today=`date +%y-%m-%d`
lastmonthday=`date -d "-31 day" +%y-%m-%d`
echo $today============$lastmonthday

for i in {1..31}
do
hadoop fs -test -e /data/flumelog/nginxlog/10.18.2.188/$lastmonthday
if [ $? -ne 0 ]; then
echo "/data/flumelog/nginxlog/10.18.2.188/$lastmonthday Directory not exists"
else
hadoop fs -rm -r /data/flumelog/nginxlog/10.18.2.188/$lastmonthday
fi

hadoop fs -test -e /data/flumelog/nginxlog/10.18.2.189/$lastmonthday
if [ $? -ne 0 ]; then
echo "/data/flumelog/nginxlog/10.18.2.189/$lastmonthday Directory not exists"
else
hadoop fs -rm -r /data/flumelog/nginxlog/10.18.2.189/$lastmonthday
fi

hadoop fs -test -e /data/flumelog/nginxlog/10.18.2.190/$lastmonthday
if [ $? -ne 0 ]; then
echo "/data/flumelog/nginxlog/10.18.2.190/$lastmonthday Directory not exists"
else
hadoop fs -rm -r /data/flumelog/nginxlog/10.18.2.190/$lastmonthday
fi

lastmonthday=`date -d "$lastmonthday -1 day" +%y-%m-%d`
done

azkaban定时表达式 0 10 0 28 * ?

每月28日0点10分执行脚本