hive 自动检测、自动重启、记录检测日志、自动清理日志

最终效果

定时检测hive运行状态，进程不存在、进程存在但是不监听端口、线程数超出上限的hiveserver2，自动重新拉起
每次检测脚本执行的日志都会保存在log目录下.check文件，每一个月一个文件
每月15日，删除2月前的检测日志
开启hive自带日志输出后，日志不会删除，且较大，因此一并将过期的hive自带日志清空

注意

每次检测失败后，会自动重启，重启时会先关闭hive进程，重启过程大概2-5分钟左右，因此检测任务定时调度的间隔千万不要小于5分钟，如果配合zookeeper实现多hiveserver2提供服务，间隔可以设置为30分钟

https://blog.youkuaiyun.com/Brother_ning/article/details/127993943
从这个作者复制的，但是他的代码好像有点问题，修改后然后加以优化

定时检查脚本

vi $HIVE_HOME/hiveservice.sh

#!/bin/bash

HIVE_LOG_DIR=$HIVE_HOME/log
CURRENT_TIME=$(date +"%Y-%m-%d %H:%M:%S")
# 日志清理，如果与hive默认日志命名风格一样，也会自动清理hive的日志
DT=$(date)
DT_2M=$(date -d "2 month ago")
CHECK_LOG=$HIVE_LOG_DIR/hive.log.$(date "+%Y-%m").check
CHECK_LOG_REG=$HIVE_LOG_DIR/hive.log.$(date -d "2 month ago" +"%Y-%m")-*
METASTORE_PORT=9083
HIVESERVER2_PORT=10000
# 最大连接数，超过这个数，则重启hive
MAX_WORKS=1800
if [ ! -d $HIVE_LOG_DIR ]
then
    mkdir -p $HIVE_LOG_DIR
fi

check_works(){
    WORKS=$(netstat -anltp | grep 10000 | grep -v "TIME_WAIT" |  wc -l)
    if [ -n "$WORKS" ] && [ "$WORKS" -gt $MAX_WORKS ]; then
        echo "$CURRENT_TIME:链接数$WORKS异常,大于$MAX_WORKS，重启hive" | tee -a $CHECK_LOG
        hive_stop
    fi
}

check_process(){
    name=$1
    port=$2
    ppid=$(netstat -nltp 2>/dev/null | grep $port | awk '{print $7}' | cut -d '/' -f 1)
    pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $name | awk '{print $2}')
    if [ -n "$pid" ] && [ -n "$ppid" ] && [ "$pid" = "$ppid" ]; then
        echo $pid
        return 0 # 进程正在运行
    else
        return 1 # 进程未运行
    fi
}

kill_valid()
{
    PIDS=$(jps -m | grep $1 | awk '{print$1}')
    # 遍历所有PID并使用kill -9命令杀掉它们，防止hive挂掉，但是进程不退出
    for PID in $PIDS; do
        kill -9 $PID
        echo "$CURRENT_TIME:关闭$1进程 $PID" | tee -a $CHECK_LOG
        sleep 3
    done
}

hive_stop()
{
    kill_valid HiveMetaStore
    kill_valid HiveServer2
}

# wait方法不能随意使用，必须在启动执行后才能执行。
wait_start()
{
    local max_retries=40  # 设置最大重试次数 40次，重启时间400秒，如果200秒内没有启动成功，则认为启动失败。
    local retries=0       # 初始化重试计数器

    metapid=$(check_process HiveMetastore $METASTORE_PORT)
    server2pid=$(check_process HiveServer2 $HIVESERVER2_PORT)

    while { [ -z "$metapid" ] || [ -z "$server2pid" ]; } && [ $retries -lt $max_retries ]; do
        sleep 5
        echo "$CURRENT_TIME:启动中（$retries）。。。" | tee -a $CHECK_LOG
        metapid=$(check_process HiveMetastore $METASTORE_PORT)
        server2pid=$(check_process HiveServer2 $HIVESERVER2_PORT)
        retries=$((retries + 1))
    done

    # 检查是否达到最大重试次数
    if [ $retries -ge $max_retries ]; then
        echo "$CURRENT_TIME:达到最大重试次数，后台等待" | tee -a $CHECK_LOG
        hive_stop
        sleep 10
        hive_start
    else
        echo "$CURRENT_TIME:HIVE状态正常" | tee -a $CHECK_LOG
    fi
}


hive_start()
{
    check_works
    metapid=$(check_process HiveMetastore $METASTORE_PORT)
    if [ -z "$metapid" ]; then
        kill_valid HiveMetaStore
        echo "$CURRENT_TIME:Metastore启动中" | tee -a $CHECK_LOG
        nohup hive --service metastore 2>$HIVE_LOG_DIR/metastore.log 1>/dev/null &
    fi
    server2pid=$(check_process HiveServer2 $HIVESERVER2_PORT)
    if [ -z "$server2pid" ]; then
        kill_valid HiveServer2
        echo "$CURRENT_TIME:HiveServer2启动中" | tee -a $CHECK_LOG
        nohup hive --service hiveserver2 2>$HIVE_LOG_DIR/hiveServer2.log 1>/dev/null &
    fi
}

status()
{
    metapid=$(check_process HiveMetastore $METASTORE_PORT)
    server2pid=$(check_process HiveServer2 $HIVESERVER2_PORT)

    if [ -n "$metapid" ] && [ -n "$server2pid" ]; then
        echo "$CURRENT_TIME:HIVE状态正常" | tee -a $CHECK_LOG
    else
        if [ -z "$metapid" ]; then
            echo "$CURRENT_TIME:Metastore未运行" | tee -a $CHECK_LOG
        fi
        if [ -z "$server2pid" ]; then
            echo "$CURRENT_TIME:HiveServer2未运行" | tee -a $CHECK_LOG
        fi
    fi
}

clean()
{
    echo "$CURRENT_TIME:清空日志 rm -rf $CHECK_LOG_REG" | tee -a $CHECK_LOG
    rm -rf $CHECK_LOG_REG
}


case $1 in
"start")
    hive_start
    wait_start
    ;;
"stop")
    hive_stop
    status
    ;;
"restart")
    hive_stop
    sleep 3
    hive_start
    wait_start
    ;;
"status")
    status
    ;;
"clean")
    clean
    ;;
*)
    echo Invalid Args!
    echo 'Usage: '$(basename $0)' start|stop|restart|status|clean'
    ;;
esac



#设置 HIVE_HOME 环境变量
HIVE_HOME=/data/soft/hive-3.1.2
# 每隔10分钟执行一次状态检测，有问题自动重启
*/10 * * * * sh $HIVE_HOME/hiveservice.sh start
# 每月15号清空2月前的hive日志
0 0 15 * * sh $HIVE_HOME/hiveservice.sh clean

定时调度

crontab -e
输入如下内容，注意修改环境变量，cron无法正常读取系统环境变量

#设置 HIVE_HOME 环境变量
HIVE_HOME=/data/soft/hive-3.1.2
# 每隔30分钟执行一次状态检测，有问题自动重启
*/30 * * * * sh $HIVE_HOME/hiveservice.sh start
# 每周天在0点01分执行一次 restart 任务
1 0 * * 0 sh $HIVE_HOME/hiveservice.sh restart >> $HIVE_HOME/log/cron.restart.log
# 每月15号清空2月前的hive日志
0 0 15 * * sh $HIVE_HOME/hiveservice.sh clean