/** * 实现java 中 list集合中有几十万条数据,每100条为一组取出 * @param list 可穿入几十万条数据的List * @return map 每一Key中有100条数据的List */ @SuppressWarnings({ "unchecked", "rawtypes" }) public Map groupList(List list){ int listSize = list.size(); int toIndex = 100; Map map = new HashMap(); //用map存起来新的分组后数据 int keyToken = 0; for (int i = 0; i<list.size(); i+=100) { if (i+100 > listSize) { //作用为toIndex最后没有100条数据则剩余几条newList中就装几条 toIndex = listSize - i; } List newList = list.subList(i, i+toIndex); //此处可进行一些批量操作 map.put("keyName"+keyToken, newList); keyToken++; } return map; }
参考博客:
实现java 中 list集合中有几十万条数据,每100条为一组取出 - 艺意 - 博客园
https://www.cnblogs.com/wkrbky/p/6100984.html
JAVA大集合数据分批次进行切割处理 - 刘小品。 - 博客园
https://www.cnblogs.com/lewisat/p/4339748.html
Java大集合分批处理
本文介绍了一种在Java中处理大规模数据集的有效方法,通过将List集合中的数据每100条分为一组,利用Map进行存储,以提高数据处理效率。此方法适用于拥有数十万条记录的大集合数据分批处理场景。
159

被折叠的 条评论
为什么被折叠?



