将一个大数据集按限制5000,分批量处理_service.retrievemultiple 解决5000条限制问题-优快云博客

本文介绍了一种根据数据量动态调整传输批次的方法，确保每次传输不超过预设限制，适用于不同规模的数据集。通过检查已上传记录避免重复传输。

业务需求: 每10分钟摆渡一次数据,但是有时候数据量小,有时候数据量比较大10分钟大概多的时候3-50000条,应要求每次传输的数据不得超过5000条,所以:

int limitSize = Integer.valueOf(env.getProperty("file.limit.size","5000"));
        List<PassPersonModel> resultList = this.passPersonRepository.selectAll();//获取表中数据
        List<PassPersonModel> dtoList = new ArrayList<>();
        if(resultList!=null&&!resultList.isEmpty()){
            PassPersonModel model =null;
            int resultTotal = resultList.size();
            for(int i=0;i<resultList.size();i++){
                model = resultList.get(i);
                //检查该数据是否已经被上传过
                if (!TransferCache.checkCacheName(model.getId())){
                    dtoList.add(model);
                }
            }
            logger.info("本次查询出 {} 条数据,其中有 {} 条未被打包上传!",resultTotal,dtoList.size());
        }
        int resultListSize = dtoList.size();
        if (resultListSize>limitSize){
            int part = resultListSize/limitSize;
            int loopTime = part;
            if(resultListSize%limitSize>0){
                loopTime++;
            }
            logger.info("由于本次传输数据量为 {},超过 {},因此需要分 {}批次打包上传",resultListSize,limitSize,loopTime);
            for(int i=1;i<=part;i++){
                List<PassPersonModel> passPersonModels = dtoList.subList(0, limitSize);
                logger.info("这是第 {}次打包,已完成{}/{}",i,i,loopTime);
                FileDownLoadAndZip(passPersonModels);
                passPersonModels.clear();
            }
            if(dtoList.size()>0){
                logger.info("将最后剩余的 {}条数据打包发送,已完成{}/{}",(resultListSize-part*limitSize),loopTime,loopTime);
            }
        }else {
            //小于limitSize 5000,直接发送
            FileDownLoadAndZip(dtoList);
        }