海豚调度清理：使用 API 轻松清理历史工作流实例以及日志文件

最新推荐文章于 2025-10-15 04:04:07 发布

原创

最新推荐文章于 2025-10-15 04:04:07 发布 · 828 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

💡 本系列文章是 DolphinScheduler 由浅入深的教程，涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。

祝开卷有益。

大家好，我是小陶，DolphinScheduler 运行一段时间之后，会积累大量的历史运行记录，这些记录主要包括：

工作流实例记录(MySQL)
任务实例记录(MySQL)
任务日志(本地磁盘)

其中 MySQL 的记录越来越多，会影响页面分页查询的速度，进而影响用户使用体验和 MySQL 服务。

所以，需要清理以上历史记录，保证页面影响速度和 MySQL 服务。

本文的内容也比较简单，先是说明 API 的逻辑、存在的bug和修复方法，最后再介绍如何使用一个 Python 脚本来调用 API 删除历史实例。

API 逻辑介绍

DolphinScheduler 本身提供了批量删除工作流实例的接口，process-instances/batch-delete，接口逻辑这里简单描述一下就是，找到工作流下面的任务实例，依次删除任务日志和 Mysql 记录。

file

API bug说明和修复

但是这里需要注意的是，海豚调度 3.2.0(不包含)以前的版本，这里有一个 bug，在查询工作流实例下面的任务实例的时候，只查询了 flag =1 的任务实例，所以就导致了在清理日志和记录的时候，漏掉了一部分。

ProcessServiceImpl.java 中的 removeTaskLogFile 方法，在查询任务实例集合的时候，引用了 findValidTaskListByProcessId(processInstanceId);而 findValidTaskListByProcessId 中仅查询了 Flag.YES 也就是 flag = 1 的记录。如下图所示：
file

这里解释一下 flag = 1 是标识该任务的最新的运行记录，表示任务多次重试之后，最新的运行记录。如果任务第一次失败了，第二次重试之后成功了，那么这个任务就会有两条运行记录，flag = 0 和 falg = 1，flag =1 的则标识最新的运行记录。

所以，如果你在使用海豚调度 3.2.0(不包含)以前的版本的时候，需要自行修复一下，或者升级到 3.2.0 。

修复的方式，也比较简单，新增 findAllTaskListByProcessId 方法，把工作流实例所有的运行实例都拿出来，不要加 flag 这个过滤条件。

使用 Python 脚本调用API

Python脚本的逻辑比较简单，使用了三个API，按照顺序是：

1.获取项目列表
2.获取工作流列表
3.批量删除工作流实例

入参是：日期

具体的代码如下：

#!/usr/bin/python
# -*- coding: utf8 -*-
## 定时清理调度工作流记录,入参是日期

import io
import subprocess
import requests
import json
import time
import datetime
from optparse import OptionParser
from optparse import OptionGroup

logging.basicConfig(format='%(asctime)s : %(levelname)s : %(module)s : %(message)s', level=logging.INFO,
                    stream=sys.stdout)
logger = logging.getLogger(__n