清理hdfs数据脚本

清理脚本

#!/bin/bash

# 设置要清理的基础目录和保留天数
BASE_DIR="/apps/hbase/data/data"
DAYS_TO_KEEP=90
LOG_FILE="/var/log/hbase_datepart_cleanup.log"
# 根据实际情况修改
TEST="test"


# 获取当前时间戳减去90天的时间戳，并转换为日期格式
CUTOFF_DATE=$(date -d "-$DAYS_TO_KEEP days" +%Y%m%d)

# 查找并删除超过90天的符合条件的目录
hdfs dfs -ls -R $BASE_DIR | grep '^d' | while read -r line; do
    DIR_NAME=$(echo "$line" | awk '{print $8}')

    # 检查目录名是否符合模式 ${TEST}_[任意字符]_hd/日期
    if [[ "$DIR_NAME" =~ ^$BASE_DIR/${TEST}_[a-zA-Z0-9]+_hd/[0-9]{8}$ ]]; then
        DIR_DATE=$(basename "$DIR_NAME")

        # 如果目录日期小于截止日期，则删除该目录
        if [ "$DIR_DATE" -lt "$CUTOFF_DATE" ]; then
            echo "Deleting directory: $DIR_NAME" | tee -a $LOG_FILE
            sudo -u hbase hdfs dfs -rm -r -skipTrash "$DIR_NAME"
        else
            echo "Skipping recent directory: $DIR_NAME" | tee -a $LOG_FILE
        fi
    fi
done

sudo -u hdfs hdfs balancer