集合数据分批添加,删除

分批次处理:

在处理大批量数据的时候一次性的插入或删除会对数据库造成压力(还有其他原因),我们分批处理,

private static final int DELETE_COUNT_LIMIT =2000;
if(!CollectionUtils.isEmpty(existTopicIds)){

    if (topicIds.size()>DELETE_COUNT_LIMIT){
        int size =topicIds.size()-1;
        int subIndex = (int) (((size)/DELETE_COUNT_LIMIT));
        subIndex = subIndex+((((size)%DELETE_COUNT_LIMIT))>0?1:0);
        for(int x=0; x<subIndex; x++){
            int endIndex = (x+1)*DELETE_COUNT_LIMIT;
            int startIndex = x*DELETE_COUNT_LIMIT;
            List<Integer> list = topicIds.subList(startIndex, endIndex>size?size+1:endIndex);
            regionHiddenConfigWriteMapper.deleteByTopicIds(list);
            topicHiddenForPurchasedWriteMapper.deleteByTopicIds(list);
            log.info("按照来源添加数据,先删除已经存在的数据,总共size={}条数据,这是第x={}次删除,删除专题list={}", + topicIds.size(),x+1,list);
        }
    } else {
        regionHiddenConfigWriteMapper.deleteByTopicIds(topicIds);
        topicHiddenForPurchasedWriteMapper.deleteByTopicIds(topicIds);
        log.info("按照来源添加数据,先删除已经存在的数据,总共size={}条数据,删除专题topicIds={}",topicIds.size(),topicIds);
    }
}
 

其他方式:

https://blog.youkuaiyun.com/lxxc11/article/details/52817817?winzoom=1

https://www.cnblogs.com/lewisat/p/4339748.html


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值