linux 日志目录下大文件定时清理

1、定时清理脚本(注意创建脚本一定linux,不能在windows建好脚本拖到linux,会存在文件类型问题)

1) 方法一: "du -sh -b"

语法
# du [-abcDhHklmsSx][-L <符号连接>][-X <文件>][--block-size][--exclude=<目录或文件>][--max-depth=<目录层数>][--help][--version][目录或文件]
  
参数说明：
-a或-all                                  #显示目录中个别文件的大小。
-b或-bytes                                #显示目录或文件大小时，以byte为单位。
-c或--total                               #除了显示个别目录或文件的大小外，同时也显示所有目录或文件的总和。
-D或--dereference-args                    #显示指定符号连接的源文件大小。
-h或--human-readable                      #以K，M，G为单位，提高信息的可读性。
-H或--si                                  #与-h参数相同，但是K，M，G是以1000为换算单位。
-k或--kilobytes                           #以1024 bytes为单位。
-l或--count-links                         #重复计算硬件连接的文件。
-L<符号连接>或--dereference<符号连接>        #显示选项中所指定符号连接的源文件大小。
-m或--megabytes                           #以1MB为单位。
-s或--summarize                           #仅显示总计。
-S或--separate-dirs                       #显示个别目录的大小时，并不含其子目录的大小。
-x或--one-file-xystem                     #一开始处理时的文件系统为准，若遇上其它不同的文件系统目录则略过。
-X<文件>或--exclude-from=<文件>            #<文件>指定目录或文件。
--exclude=<目录或文件>                     #略过指定的目录或文件。
--max-depth=<目录层数>                     #超过指定层数的目录后，予以忽略。
--help 显示帮助。
--version                                #显示版本信息。

#!/bin/bash
cd /opt/cli-task
for i in $(du -sh -b $PWD/logs/* | awk '{print $1}')
do
        for f in $(du -sh -b $PWD/logs/* | grep ${i} | awk '{print $2}')
        do
                if [ ${i} -gt 3221225472 ]; then #超过3G自动清理
                echo ${f} ${i}
                echo "" > ${f}
                fi
        done
done

2) 方法二: "ls -l"

ls命令是linux下用来列出目录下的文件. 下面是关于ls的一些常规用法:

s -a     #列出文件下所有的文件，包括以“.“开头的隐藏文件（linux下文件隐藏文件是以.开头的，如果存在..代表存在着父目录）。
ls -l     #列出文件的详细信息，如创建者，创建时间，文件的读写权限列表等等。
ls -F     #在每一个文件的末尾加上一个字符说明该文件的类型。"@"表示符号链接、"|"表示FIFOS、"/"表示目录、"="表示套接字。
ls -s     #在每个文件的后面打印出文件的大小。  size(大小)
ls -t     #按时间进行文件的排序  Time(时间)
ls -A     #列出除了"."和".."以外的文件。
ls -R     #将目录下所有的子目录的文件都列出来，相当于我们编程中的“递归”实现
ls -L     #列出文件的链接名。Link（链接）
ls -S     #以文件的大小进行排序
 
ls可以结合管道符”|“来进行一下复杂的操作。比如: ls | less用于实现文件列表的分页，ls

#!/bin/bash
cd /opt/cli-task
for i in $(ls -l $PWD/logs/* |awk '{print $5}')
do
   for f in $(ls -l $PWD/logs/* |grep $i |awk '{print $9}')
   do
         if [ ${i} -gt 3221225472 ]; then  #超过3G自动清理
         echo ${f} ${i}
         echo "" > ${f}
         fi
    done
done

3) 方法三："find -size"

-size 选项用于查找满足指定的大小条件的文件(注意不查找目录), +表示大于, -表示小于, 没有+或-表示正好等于。

#!/bin/bash
cd /opt/cli-task
for i in $(find  $PWD/logs/* -size +3G)
do
        echo " " > ${i};
done

2、添加系统定时执行任务

contrab -e 添加定时任务

*/10 * * * * /bin/bash -x /opt/cli-task/auto-clear.sh > /dev/null 2>&1

参考文章

  1、https://www.cnblogs.com/kevingrace/p/9770082.html

  2、quartz和crontab的区别 - DaisyLinux - 博客园

  3、Linux cron 定时执行任务 - YruiZ - 博客园

  4、with CRLF line terminators(Linux和Windows文件的差异)_liwencai007的博客-优快云博客