【Linux】如何在Linux服务器上设置一个定时任务

1. 背景

这个需求是生产环境上实际遇到的。我们有一台服务器专门用来接收其它平台推送过来的业务数据，而且每天推送的数据都是全量的。数据按天分开，每天的数据量大概10个G。时间就来，数据越来越多，磁盘有占满风险，磁盘一旦满了，数据平台推送数据会失败，会影响我们的业务处理。
因此，我利用Linux的 crontab 写了一个定时任务请求处理多余数据，仅保留最近10天的数据。

2. crontab 上添加定时任务

查看当前Linux 服务器上已有的定时任务：
crontab -l

在Linux服务器上 编辑/添加 定时任务：
crontab -e
执行该命令，会进入crontab 定时任务列表编辑的 vim 界面，添加上如下一行：
30 19 * * * /data/sftp/upload/clear_script.sh
表示在每天晚上19:30 定时执行/data/sftp/upload 目录下的名为 clear_script.sh 的脚本。
下面开始写具体的脚本内容。

3. 编写定时任务脚本

这个清理脚本主要分为2个部分，一个是shell脚本部分，一个是Python脚本部分。因为我对shell不太熟，写shell主要是为了调用Python脚本。
下面是shell脚本clear_script.sh的内容:

#!/bin/bash
cd /data/sftp/upload
/usr/bin/python3 fileCleaner.py && echo "clear done" >> /data/sftp/upload/log/clear.log 2>&1

主要就是cd 到 /data/sftp/upload 目录，执行Python脚本，因为我的脚本在这个位置放着。在执行Python脚本时指定该服务器上Python解释器的绝对路径，并将日志输出到指定日志文件。
下面是Python脚本的具体内容：

import os
import datetime
import shutil

"""
遍历所有的项目目录，每个项目目录下是以日期建立的文件夹，比较该文件夹时间与当前时间的时间差，如果时间差超过了10天，则删除该文件夹下所有文件及该文件夹；
"""
DATE_FORMAT = "%Y%m%d"
today_date = datetime.date.today()
root_path = os.getcwd()
for dir in os.listdir(root_path):
    # 判断当前文件是否为一个目录，是项目目录才进行处理
    if len(dir) != 2 or not dir.isalpha():
        continue
    print("current path: " + dir)
    # cur_path = root_path + "\\" + dir
    cur_path = root_path + "/" + dir
    for his_date in os.listdir(cur_path):
        if not his_date.isdigit():
            continue
        format_his_date = datetime.datetime.strptime(his_date, DATE_FORMAT).date()
        # 如果该目录数据与当前时间相差超过10天则删除
        diff = today_date - format_his_date
        if diff.days > 10:
            print("directory to be deleted: " + his_date)
            # shutil.rmtree(cur_path + "\\" + his_date, ignore_errors=True)
            shutil.rmtree(cur_path + "/" + his_date, ignore_errors=True)

print("Clear done.")