Linux大文件日志处理_linux定时任务日志越来越大怎么办-优快云博客

本文介绍了如何在Linux环境下处理大文件日志，通过编写shell脚本实现日志文件的分割，每个部分不超过50MB，并将其保存在logs目录下。同时，脚本还会删除超过2天的日志，以释放存储空间。此外，通过添加cron定时任务，确保每天凌晨1点自动执行此脚本，实现日志的定期维护。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Linux大文件日志处理，Linux大文件日志分割，日志定时删除

在生产环境中，我们往往会遇到一些日志文件太大，占用服务器存储空间，但是有时候我们还要保存一部分的日志，不能全部删除，这个时候我们就可以使用大文件分割方法来处理这个事情，并通过定时任务让其定时分割和清理。

1、如下图，我们将对大文件catalina.out文件进行文件分割，然后保存到logs目录

2、创建shell脚本文件 clearNohup.sh，并写入如下内容

#!/bin/bash
# 大文件分割

this_path=$(cd `dirname $0`;pwd)   #根据脚本所在路径
current_date=`date -d "-1 day" "+%Y%m%d"`   #列出时间
file_name='catalina.out'  #脚本所在路径下面的大文件
cd $this_path
echo $this_path
echo $current_date

#分割大文件
do_split () {
    [ ! -d logs ] && mkdir -p logs
    split -b 50m -d -a 4 ./${file_name}   ./logs/nohup-${current_date}  #切分50兆每块至logs文件中，格式为：nohup-xxxxxxxxxx
    if [ $? -eq 0 ];then
        echo "Split is finished!"
    else
        echo "Split is Failed!"
        exit 1
    fi
}

#删除文件
do_del_log() {
    find ./logs -type f -ctime +2 | xargs rm -rf #清理2天前创建的日志
    cat /dev/null > ${file_name} #清空当前目录的大文件
}

if do_split ;then
    do_del_log
    echo "nohup is split Success"
else
    echo "nohup is split Failure"
    exit 2
fi

3、设置系统定时任务，进行固定时间点切分大文件

#打开系统定时任务文件
  crontab -e
#打开文件后添加如下内容(每天凌晨1点执行clearNohup.sh脚本文件)
  0 1 * * */1 /server/scripts/clearNohup.sh &>/dev/null