SpringBoot高性能清理MySQL历史数据

背景

项目的心跳数据,随着业务的    增长及时间的推移,数据库的数据量越来越庞大,不仅查询性能受到了影响,还消耗过多的数据库空间。为了保证查询的性能,需要控制数据量的大小,与业务商讨,仅保留近60天的数据即可。

清理历史数据需要考虑的地方
  •   1、不能一次性将历史数据删除,消耗时间长,失败风险高,而且还会带来锁的问题
  •   2、查询语句需要索引,不然删除操作也大打折扣
  •   3、根据id范围删除数据(id字段有主键索引)
  •   4、打印一些关键的日志记录一下删除进度及耗时

清理历史数据的主要步骤

说明:项目中引入xxl-job做调度中心,但该篇文章不包含xxl-job的引入及调用,真的有需要,可在评论区回复,可考虑出一篇,建议先从xxl-job官网了解该调度框架的英姿https://www.xuxueli.com/xxl-job

创建craete_time索引

# 创建creat_time索引 
ALTER TABLE xxx ADD INDEX idx_ctime (create_time);

需要的DTO对象

@Data
public class MinMaxIdDTO {
    /**
     * 最小Id
     */
    private Long minId;
    /**
     * 最大Id
     */
    private Long maxId;
    /**
     * 总条数
     */
    private Long idCount;
}

编写对应的Mapper接口

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值