java多线程批量处理list集合中的数据

最新推荐文章于 2024-11-07 18:43:41 发布

原创最新推荐文章于 2024-11-07 18:43:41 发布 · 1.4w 阅读

CC 4.0 BY-SA版权

本文介绍了一个使用Java线程池进行大批量数据处理的例子，通过将数据分割成小块并分配给多个线程，实现了高效的数据处理流程。文章详细展示了如何创建固定大小的线程池，如何将数据集划分成子集，并为每个子集创建Callable任务，最后收集所有线程的处理结果。

public class ThreadList {

	public static void main(String[] args) throws InterruptedException, ExecutionException {
		List<String> list = new ArrayList<>();
		
		for(int i=0;i<5300;i++){
			list.add(""+i);
		}
		int threadSize = 500;//每500条数据开启一个线程
		int remainder = list.size()%threadSize;
		int threadNum  = 0;//线程数
		if(remainder == 0){
			threadNum  = list.size()/threadSize;
		} else {
			threadNum  = list.size()/threadSize + 1;
		}
		
		ExecutorService eService = Executors.newFixedThreadPool(threadNum );//创建一个线程池
		
		List<Callable<String>> cList = new ArrayList<>(); 
		Callable<String> task = null;
		List<String> sList = null;
		
		for(int i=0;i<threadNum;i++){
			if(i == threadNum - 1){
				sList = list.subList(i*threadSize, list.size());
			} else {
				sList = list.subList(i*threadSize, (i+1)*threadSize);
			}
			final List<String> nowList = sList;
			task = new Callable<String>() {
				@Override
				public String call() throws Exception {
					StringBuffer sb = new StringBuffer();
					for(int j=0;j<nowList.size();j++){
						sb.append(""+nowList.get(j));
					}
					return sb.toString();
				}
			};
			cList.add(task);
		}
		List<Future<String>> results = eService.invokeAll(cList);
		for(Future<String> str:results){
			System.out.println(str.get());
		}
		eService.shutdown();
	}
}