linux 好用的DIY函数

原创

已于 2024-01-09 10:30:37 修改 · 279 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#linux

于 2021-08-26 15:52:19 首次发布

本文介绍了Linux系统管理的一些实用脚本，包括删除日志、监控进程、获取Hive表数据条数、计算日期差、下载数据、检查HDFS文件、执行命令检查以及日志管理和报警机制。这些脚本对于日常运维工作非常有用，能够提高效率并确保系统的稳定运行。

1. 删除十天以上的日志数据

find /data/zz/logs -mtime +10 | xargs rm
# find ./logs -mtime +10 | xargs rm
# rm ./logs/log_${last_10dt}

2. 获取进程pid，并kill

#/bin/bash
PID=$(ps -ef | grep algorithms_predict | grep -v grep | awk '{print $2}')
if [ -z $PID ]; then
        echo "process provider not exist" >> ../logs/algorithms_predict.log
        exit
else
        echo "process id: $PID" >> ../logs/algorithms_predict.log
        kill -9 ${PID}
        echo "process algorithms_predict killed" >> ../logs/algorithms_predict.log
fi

或 ps -ef | grep algo | awk -F' ' '{print $2}' | xargs kill -9

3. 从元数据获取表中数据的条数

user_cnt=`hive -e "desc formatted table_name partition(pt='2021-07-01');" \
    | grep "numRows" | grep -oE "[0-9]*"`

4. 计算两日期间隔

计算日期 date1 - date2 有多少天

function date_diff {
    local date1=${1}
    local date2=${2}
    local dt1_time=$(date -d "$date1" +%s)
    local dt2_time=$(date -d "$date2" +%s)
    echo $[($dt1_time-$dt2_time)/86400]
}

5. 下载数据到本地

for trf in `hadoop fs -ls ${instance_path}/train/* | grep -o "part-.*.gz"`;
do
    hadoop fs -get ${instance_path}/train/${trf} ${train_dir} &
done
wait
if_error_exit "Download train instance from