【技巧帖】 DolphinScheduler 任务数据清理与备份策略，确保页面不卡顿

原创

已于 2024-12-06 15:34:59 修改 · 804 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

于 2024-12-06 15:32:57 首次发布

问题描述

由于 Apache DolphinScheduler 长期运行，任务数量不断增加，相关任务数据主要存储在数据库中的 t_ds_task_instance 和 t_ds_process_instance 两张表中。

随着这两张表数据量的持续增长，导致系统页面出现卡顿现象。

解决方案

为解决上述问题，采取的措施是定期清理数据库中 t_ds_process_instance 和 t_ds_task_instance 两张表中一个月之前的数据。

数据备份

在进行数据清理之前，首先备份原表数据，以确保数据安全。

use dolphinscheduler;
-- 创建备份表 t_ds_process_instance_backup20241120 和 t_ds_task_instance_backup20241120
CREATE TABLE t_ds_process_instance_backup20241120 LIKE t_ds_process_instance;
CREATE TABLE t_ds_task_instance_backup20241120 LIKE t_ds_task_instance;

-- 将原表数据备份到相应的备份表中
INSERT INTO t_ds_process_instance_backup20241120
SELECT * FROM t_ds_process_instance;

INSERT INTO t_ds_task_instance_backup20241120
SELECT * FROM t_ds_task_instance;