将一个list分为每份小鱼1000的

最新推荐文章于 2023-02-21 21:19:46 发布

转载最新推荐文章于 2023-02-21 21:19:46 发布 · 406 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/lshan/p/9660649.html

本文介绍了一种将大数据集合分批处理的方法。当数据集合大小超过一千条记录时，通过循环将其切割成多个子集进行处理，每个子集包含最多一千条记录。此方法适用于大数据处理场景，可以有效避免一次性加载大量数据导致的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

    List<LazadaTrackingDataTO> dataSourceList = new ArrayList<LazadaTrackingDataTO>();
       if (packages.size() > 1000) {
           int i = 0, j = 1000;
           while (true) {
               if (j > packages.size()) {
                   j =packages.size();
               }
               LazadaTrackingDataTO data = new LazadaTrackingDataTO();

               data.setPackages(packages.subList(i, j));
               logger.debug("DEBUG List, cut the List from i" + i + " to " + j);
               dataSourceList.add(data);
               if (j == packages.size()) {
                   break;
               }
               i = j;
               j = j + 1000;
           }
       } else {
           LazadaTrackingDataTO data1 = new LazadaTrackingDataTO();
           data1.setPackages(packages);
           dataSourceList.add(data1);
       }