问题:
在使用ClickHouse数据库中引擎类型是MergeTree的表进行大批量删除数据时,发现是异步删除,影响了后续对数据的使用。
查看官方文档,发现删除默认确实是异步的

解决方案:
在每批次的删除后,都执行下面的sql,将等待数据处理结束才返回,需要注意的是,这条语句会影响性能
OPTIMIZE TABLE tableName FINAL
同步和异步的区别:
以下日志是每批次数据处理完成后打印的,从批次间的耗时可以看出来,同步和异步执行时间差将近三倍
异步:
2024-11-15 16:15:36.743 INFO 26345 --- [ XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl : 第1批,删除后表中总条数:150009
2024-11-15 16:15:36.765 INFO 26345 --- [ XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl : 第2批,删除后表中总条数:150009
2024-11-15 16:15:36.791 INFO 26345 --- [ XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl : 第3批,删除后表中总条数:150009
2024-11-15 16:15:36.812 INFO 26345 --- [ XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl : 第4批,删除后表中总条数:145009
2024-11-15 16:15:36.836 INFO 26345 --- [ XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl : 第5批,删除后表中总条数:145009
2024-11-15 16:15:36.859 INFO 26345 --- [ XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl : 第6批,删除后表中总条数:145009
2024-11-15 16:15:36.891 INFO 26345 --- [ XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl : 第7批,删除后表中总条数:135009
2024-11-15 16:15:36.919 INFO 26345 --- [ XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl : 第8批,删除后表中总条数:135009
2024-11-15 16:15:36.948 INFO 26345 --- [ XNIO-1 task-3] o.s.m.l.s.impl.ClickHouseServiceImpl : 第9批,删除后表中总条数:135009
同步:
2024-11-15 16:09:38.376 INFO 18758 --- [ XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl : 第1批,删除后总条数:144999
2024-11-15 16:09:38.454 INFO 18758 --- [ XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl : 第2批,删除后总条数:139999
2024-11-15 16:09:38.538 INFO 18758 --- [ XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl : 第3批,删除后总条数:134999
2024-11-15 16:09:38.611 INFO 18758 --- [ XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl : 第4批,删除后总条数:129999
2024-11-15 16:09:38.681 INFO 18758 --- [ XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl : 第5批,删除后总条数:124999
2024-11-15 16:09:38.760 INFO 18758 --- [ XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl : 第6批,删除后总条数:119999
2024-11-15 16:09:38.849 INFO 18758 --- [ XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl : 第7批,删除后总条数:114999
2024-11-15 16:09:38.932 INFO 18758 --- [ XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl : 第8批,删除后总条数:109999
2024-11-15 16:09:39.000 INFO 18758 --- [ XNIO-1 task-5] o.s.m.l.s.impl.ClickHouseServiceImpl : 第9批,删除后总条数:104999
955

被折叠的 条评论
为什么被折叠?



