背景
项目的心跳数据,随着业务的 增长及时间的推移,数据库的数据量越来越庞大,不仅查询性能受到了影响,还消耗过多的数据库空间。为了保证查询的性能,需要控制数据量的大小,与业务商讨,仅保留近60天的数据即可。
清理历史数据需要考虑的地方
- 1、不能一次性将历史数据删除,消耗时间长,失败风险高,而且还会带来锁的问题
- 2、查询语句需要索引,不然删除操作也大打折扣
- 3、根据id范围删除数据(id字段有主键索引)
- 4、打印一些关键的日志记录一下删除进度及耗时
清理历史数据的主要步骤
说明:项目中引入xxl-job做调度中心,但该篇文章不包含xxl-job的引入及调用,真的有需要,可在评论区回复,可考虑出一篇,建议先从xxl-job官网了解该调度框架的英姿https://www.xuxueli.com/xxl-job
创建craete_time索引
# 创建creat_time索引
ALTER TABLE xxx ADD INDEX idx_ctime (create_time);
需要的DTO对象
@Data
public class MinMaxIdDTO {
/**
* 最小Id
*/
private Long minId;
/**
* 最大Id
*/
private Long maxId;
/**
* 总条数
*/
private Long idCount;
}