python 实现保存最新的三份文件，其余删掉

最新推荐文章于 2024-10-15 17:22:05 发布

sxf_0123

最新推荐文章于 2024-10-15 17:22:05 发布

阅读量847

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python airflow

本文链接：https://blog.youkuaiyun.com/sxf_123456/article/details/82155191

本文介绍如何使用Python编写脚本，自动检查一个目录并仅保留最近创建的三个文件，删除所有其他文件。这对于在 airflow 工作流中管理日志文件或确保有限存储空间的有效利用非常有用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

"""
对于每天存储文件，文件数量过多，占用空间
采用保存最新的三个文件
"""
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from airflow.models import Variable
from sctetl.airflow.utils import dateutils
from datetime import datetime,timedelta
import logging
import os
import shutil
"""
base_dir = "/data"
data_dir = "/gather"
"gather下边存在不同的文件夹"
"/data/gather/test"
"test路径下有以下文件夹"
"20180812、20180813、20180814、20180815、20180816"
"""

base_dir = Variable.get("base_dir")
data_dir = Variable.get("data_dir")
keep = 3

default_arg = {
    "owner":"airflow",
    "depends_on_past":False,
    "start_date":dateutils.get_start_date_local(2018,8,27,18,5),
    "email":[''],
    "email_on_failure":False,
    "email_on_retry":False,
    "retries":1,
    "retry_delay":timedelta(minutes=5)
}

dag = DAG(dag_id="keep_three_day",default_args=default_arg,schedule_interval=dateutils.get_schedule_interval_local(18,5))

def keep_three_day():
    path = os.path.join(base_dir