arraylist切割_jdk8 stream list分割 切割 分批次处理工具类

该博客介绍了一种使用JDK8 Stream将大型数据集分割成小批次处理的方法,适用于ArrayList、LinkedHashSet和LinkedList等集合类型。通过提供一个工具类,演示了如何根据最大数量限制,将集合切分成多个子集合,以实现高效的数据入库或其他批量操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近处理一个需求,需要将一批数据入库,处理的时候发现数据量超级大,于是就将批数据进行分割分批处理。

直接上码

样式超赞好看的原文链接原文链接:jdk8 stream list分割 切割 分批次处理工具类​blog.youkuaiyun.com

package com.store.common.utils;

import java.util.*;

import java.util.stream.Collectors;

public class CommonUtil {

/**

* 计算切分次数

* @param size 需要分割的集合长度

* @param maxNum 集合最大的数量

* @param

* @return 切分次数

*/

private static Integer countStep(Integer size, Integer maxNum) {

return (size + maxNum - 1) / maxNum;

}

/**

* 将一个集合进行分割

* @param collections 需要分割的集合 (List LinkedHashSet TreeSet LinkedList)

* @param maxNum 集合最大的数量

* @param

* @return 分割后的集合

*/

public static Collection> subCollection(Collection collections, int maxNum){

int limit = countStep(collections.size(), maxNum);

//方法一:使用流遍历操作

// Collection> mglist = new ArrayList<>();

// Stream.iterate(0, n -> n + 1).limit(limit).forEach(i -> {

// mglist.add(collections.stream().skip(i * maxNum).limit(maxNum).collect(Collectors.toList()));

// });

// return mglist;

//方法二:获取分割后的集合

Collection> splitCollection = Stream.iterate(

0, n -> n + 1).limit(limit).parallel().map(

a -> collections.stream().skip(a * maxNum).limit(maxNum).parallel()

.collect(Collectors.toList())).collect(Collectors.toList());

return splitCollection;

}

public static void main(String[] args) {

//test List

List list = Arrays.asList(1, 2, 3, 4, 5, 6, 7);

//[[1, 2, 3], [4, 5, 6], [7]]

System.out.println(subCollection(list, 3));

//test set , allow LinkedHashSet TreeSet

Set set = new TreeSet() {

{

for (int i = 0; i < 40; i++) {

if (i % 2 == 0) {

add(i);

}

}

}

};

//[[0, 2, 4], [6, 8, 10], [12, 14, 16], [18, 20, 22], [24, 26, 28], [30, 32, 34], [36, 38]]

System.out.println(subCollection(set, 3));

//add()和remove()方法在失败的时候会抛出异常(不推荐)

Queue queue = new LinkedList();

//添加元素

queue.offer("a");

queue.offer("b");

queue.offer("c");

queue.offer("d");

queue.offer("e");

queue.offer("f");

queue.offer("g");

queue.offer("h");

queue.offer("i");

queue.offer("j");

//[[a, b, c], [d, e, f], [g, h, i], [j]]

System.out.println(subCollection(queue, 3));

}

}

jdk8 stream list分割 切割 分批次处理工具类

————————————————

版权声明:本文为优快云博主「努力奔跑的小蜗牛」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值