十八、fork/join框架

最新推荐文章于 2025-08-11 14:43:21 发布

转载最新推荐文章于 2025-08-11 14:43:21 发布 · 108 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/lay2017/p/10167600.html

文章标签：

#java #数据库 #大数据

本文深入探讨了ForkJoin框架的原理与应用，通过代码示例详细解释了如何使用ForkJoin框架进行并行计算，特别关注于如何通过任务分解和并行执行提高计算效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、简介

在hadoop的分布式计算框架MapReduce中，会经过两个过程Map过程和reduce过程。Map过程将任务并行计算，reduce汇总并行计算的结果，如图：

MapReduce是在分布式环境中做分布式计算的，JDK1.7+以后再单机环境中也可以做类似的操作，它提供了一种ForkJoin框架。

ForkJoin框架中，fork()操作将任务异步并行执行（类似生成一个Map操作），join()操作等待异步并行的结果，你可以将并行结果进行汇总（类似reduce操作），并通过Future等方式获取异步线程的执行结果，如图：

JDK文档：https://docs.oracle.com/javase/7/docs/api/java/util/concurrent/RecursiveTask.html

ForkJoin框架可以将一个任务通过不断地分解，并行地执行更多的任务。在这种方式下，你需要合理控制它的分解程度，因为你可能一次性爆发非常多的线程消耗大量的资源，会适得其反。

二、代码示例

以下代码示例对一个集合内的数据进行加法运算，我们将集合不断地拆分成两两加法，然后并行执行汇总结果。最后通过Future获取异步结果

这里我们采用继承RecursiveTask<T>的方式来编写实现类，因为我们需要返回值，其泛型即返回值。

如果你的任务不需要返回值，你可以继承RecursiveAction来实现。

import java.util.Arrays;
import java.util.List;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.Future;
import java.util.concurrent.RecursiveTask;

public class ForkJoinDemo extends RecursiveTask<Integer> {

    private List<Integer> nums;

    public ForkJoinDemo(List<Integer> nums) {
        this.nums = nums;
    }

    @Override
    protected Integer compute() {
        // 如果只有一个数据，直接返回
        if (nums.size() == 1) {
            return nums.get(0);
        // 如果两个数据，相加
        } else if (nums.size() == 2) {
            return nums.get(0) + nums.get(1);
        // 否则拆分任务
        } else {
            // 拆分成两个任务异步执行，并等待异步结果
            int result1 = new ForkJoinDemo(nums.subList(0, nums.size()/2)).fork().join();
            int result2 = new ForkJoinDemo(nums.subList(nums.size()/2, nums.size())).fork().join();
            // 汇总结果
            int total = result1 + result2;
            // 返回汇总结果
            return total;
        }
    }

    public static void main(String[] args) throws ExecutionException, InterruptedException {
        // 数据准备
        Integer[] nums = {1,2,3,4,5,6,7,8,9};
        List<Integer> list = Arrays.asList(nums);
        // 初始化fork任务
        ForkJoinDemo forkJoinDemo = new ForkJoinDemo(list);
        // 初始化线程池
        ForkJoinPool pool = new ForkJoinPool();
        // 提交任务
        Future<Integer> future = pool.submit(forkJoinDemo);
        // 阻塞获取返回值
        System.out.println(future.get());
    }
}