修改Java默认parallelStream线程数量

最新推荐文章于 2025-03-03 19:46:48 发布

ishouyong

最新推荐文章于 2025-03-03 19:46:48 发布

阅读量2k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Java/Android/RxJava/JFinal 文章标签： java docker parallelStream k8s

本文链接：https://blog.youkuaiyun.com/enlangs/article/details/119207214

环境

运行环境：k8s+jib。
业务环节：每个容器是独立的计算单元。

需求

如题。在k8s中测试发现，parallelStream的效果不佳，定位问题在System.getProperty("java.util.concurrent.ForkJoinPool.common.parallelism") 没用值，常见的修改方式是自定义ForkJoinPool或是直接设置属性System.setProperty("java.util.concurrent.ForkJoinPool.common.parallelism", "16")，但是在我们的k8s中就不怎么合适，我们的计算容器都需要涉及到大量的运算。常见解决方案有：

使用多容器；
使用单容器+多进程；

我们的业务是报表计算，没用必要用多容器，所以选择了方案2。这就要求我们有比较灵活的控制parallelism的方式。最终选用启动参数。

# 通过启动参数
-Djava.util.concurrent.ForkJoinPool.common.parallelism=16
# 通过jvmopt

export JAVA_TOOL_OPTIONS=

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ishouyong

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Java 线程池中的线程复用是如何实现的？

武培轩

06-15

3476

前几天，技术群里有个群友问了一个关于线程池的问题，内容如图所示：关于线程池相关知识可以先看下这篇：为什么阿里巴巴Java开发手册中强制要求线程池不允许使用Executors创建？那么就来...

java线程池源码分析，彻底扫清线程池知识盲区（建议收藏）

a646705816的博客

10-08

7205

1.计算机的基础知识位逻辑运算符: &: 位与运算符，只有两个操作数都是true，结果才是true。 |: 位或运算符，只有两个操作数都是false，结果才是false。 ~: 位非运算符：如果位为0，结果是1，如果位为1，结果是0. ^: 位异或运算：两个数转为二进制，然后从高位开始比较，如果相同则为0，不相同则为1。位移运算: 无符号左移无符号右移 :带符号右移(没有带符号左移这种操作) 二进制: 二进制都是以补码的形式表示的正数的原码，反码，补码都一样; 要得到负数的补码，必须先求负数

参与评论您还未登录，请先登录后发表或查看评论

Java8 parallelStream流--线程数的控制

qq_34748010的博客

05-01

8382

Java 8 并行流（parallel stream）采用共享线程池，对性能造成了严重影响。底层使用通用的 fork/join 池来实现，该池是所有并行流共享的。默认情况，fork/join 池会为每个处理器分配一个线程。 public static void main(String[] args) throws Exception { List<String> list = Arrays.asList("1", "2", "3", "4", "5"); //

parallelstream启动的线程数_你使用过Java8中的parallelStream？

weixin_39882271的博客

11-29

5192

前言并行编程势不可挡，Java从1.7开始就提供了Fork/Join 支持并行处理。java1.8 进一步加强。并行处理就是将任务拆分子任务，分发给多个处理器同时处理，之后合并。Stream APIJava 8 引入了许多特性，Stream API是其中重要的一部分。区别 InputStream OutputStream，Stream API 是处理对象流而不是字节流。执行原理如下，流分串行和并行...

java parallelStream接口配置线程池数量

路过君的博客

06-20

3311

【代码】java parallelStream接口配置线程池数量。

面试题:说一下线程池内部工作原理

weixin_45727359的博客

02-20

1129

点击上方“肉眼品世界”，关注公众号深度价值体系传递随着cpu核数越来越多，不可避免的利用多线程技术以充分利用其计算能力。所以，多线程技术是服务端开发人员必须掌握的技术。线程的创建和销毁，...

Java8 并行流(parallelStream)原理分析及线程池线数设置

热门推荐

念念不忘，必有回响

05-02

2万+

我们都知道在java 使用strem流做多线程处理是非常方便的。 list.parallelStream().forEach(s -> { // 业务处理 }); 但是parallelStream是如何实现多线程处理的呢？其实看源码我们会发现parallelStream是使用线程池ForkJoin来调度的，这里我们可以看源码看到由于我们使用的 forEach，所以直接看类ForEachOps即可.当然其他方法比如reduce等会有不同的实现类，总的实现类是如

Java8 parallelStream 修改默认的线程数量

lgq2016的博客

07-06

2万+

parallelStream默认使用了fork-join框架，其默认线程数是CPU核心数。通过查阅资料，发现有两种方法来修改默认的多线程数量： 1.全局设置在运行代码之前，加入如下代码： System.setProperty("java.util.concurrent.ForkJoinPool.common.parallelism", "64"); 一般不建议修改，因为修改虽然改进当前的业务逻辑，但对于整个项目中其它地方只是用来做非耗时的并行流运算，性能就不友好了，因为所有使用并行流para

多线程之parallelStream

m0_57801749的博客

08-05

1462

parallelStream默认使用线程池ForkJoinPool来调度的，而ForkJoinPool的默认线程数是CPU核数 - 1。总结：在使用parallelStream时要注意根据需求选择合适的线程池，避免出现线程池溢出等一系列问题。输出：使用spring框架中的 ForkJoinPool.commonPool。输出：使用的依旧是 ForkJoinPool.commonPool。举例二：使用其他线程池，如 Executors.输出：使用自定的ForkJoinPool线程池。

parallelstream启动的线程数_线程池源码详细解读（下）

weixin_39991531的博客

12-03

906

前文回顾AQS源码详细解读ReentrantLock源码详细解读LinkedBlockingQueue源码详细解读线程池源码详细解读（上）接着上一篇文章，知道线程池的一些相关概念后，一起来看看实现原理吧。本文讲述ThreadPoolExecutor源码，力求理清执行顺序，尽量保持思路清晰，请耐心看完~文章导读内部类-Worker（基本属性，构造方法，AQS相关钩子方法，线程中断方法）提交任务（e...

parallelStream并发流的线程知识，以及自定义线程方法

weixin_59244784的博客

09-27

3261

parallelStream并发流的线程知识，以及自定义线程方法

java8 新特性parallelStream 修改默认多线程数量

weixin_30249203的博客

05-23

1万+

parallelStream默认使用了fork-join框架，其默认线程数是CPU核心数。通过测试实践，发现有两种方法来修改默认的多线程数量： 1、全局设置在运行代码之前，加入如下代码： System.setProperty("java.util.concurrent.ForkJoinPool.common.parallelism", "20"); 2、代码块内部设置 ForkJo...

c++ socket线程池原理_深入分析java线程池的实现原理

weixin_39753674的博客

11-14

144

前言线程是稀缺资源，如果被无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，合理的使用线程池对线程进行统一分配、调优和监控，有以下好处： 1、降低资源消耗； 2、提高响应速度； 3、提高线程的可管理性。Java1.5中引入的Executor框架把任务的提交和执行进行解耦，只需要定义好任务，然后提交给线程池，而不用关心该任务是如何执行、被哪个线程执行，以及什么时候执行。demo1、Execut...

深入分析java线程池的实现原理

weixin_34342207的博客

08-16

132

转载：http://www.jianshu.com/p/87bff5cc8d8c前言线程是稀缺资源，如果被无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，合理的使用线程池对线程进行统一分配、调优和监控，有以下好处：1、降低资源消耗；2、提高响应速度；3、提高线程的可管理性。Java1.5中引入的Executor框架把任务的提交和执行进行解耦，只需要定义好任务，然后提交...

Java 8并行流自定义线程池

家山的专栏

12-31

3733

目录前言默认并发数不靠谱通用池耗尽 自定义线程池前言 Java 8引入了并行流(Parallel Streams)，流会自动通过一个通用的Fork/Join池并行地执行，这个通用Fork/Join池可以使用ForkJoinPool.commonPool()来访问。默认并发数不靠谱通常的通用池的期望并发数的默认值是Runtime.get...

java用不用stream_Java parallelStream不使用预期的线程数

weixin_31486261的博客

02-28

230

Java 8 parallelStream似乎使用的线程数多于系统属性java.util.concurrent.ForkJoinPool.common.parallelism指定的线程数.这些单元测试显示我使用自己的ForkJoinPool使用所需数量的线程处理任务,但是当使用parallelStream时,线程数高于预期.import org.junit.Test;import java.uti...

java8中修改parallelStream默认并发数

弹指天下

08-27

1万+

Java 8引入了流的概念去对数据进行复杂的操作，而且使用并行流（Parallel Steams）支持并发，大大加快了运行效率。主要有以下两种方式： 1、设置ForkJoinPool.commonPool公共池的全局并发数。 2、自定义ForkJoinPool线程池指定并发数。

java 线程数量控制_如何减少Java parallelStream中的线程数量？

weixin_29557457的博客

02-24

393

我有一个测试代码parallelStream()发送请求到服务器机器。如何减少Java parallelStream中的线程数量？Report report =requestsList.parallelStream().map(request -> freshResultsGenerator.getResponse(request, e2EResultLongBL)).map(respons...

Java 并行流（parallelStream）详解

郎逸的博客

03-03

1779

本篇博客详细介绍了Java并行流以及其使用方式。

java中的parallelStream方法

最新发布

03-08

<think>嗯，用户现在问的是Java中的parallelStream方法。我记得之前他问过volatile关键字，所以可能他对并发编程有一定的兴趣。这次的问题是关于并行流的，我需要先回想一下parallelStream的基本概念和用途。首先，用户可能知道stream，但不太清楚parallelStream的区别。我需要解释清楚并行流是什么，和顺序流的区别在哪里。然后要说明适用的场景，比如处理大数据集时可以提高性能，但也要注意线程安全的问题。用户可能关心如何使用parallelStream，有没有代码示例。可能需要举一个简单的例子，比如用并行流处理列表，计算平方和或者过滤数据。同时，要提到背后的原理，比如ForkJoinPool，这样用户能理解底层机制。还要注意潜在的问题，比如线程安全，如果使用非线程安全的集合会有什么后果，以及如何避免。比如，在reduce操作中使用正确的身份值和累加器，或者使用线程安全的收集器。另外，性能问题也很重要。不是所有情况都适合用并行流，比如数据量小的时候，或者有顺序依赖的操作，反而可能更慢。需要给出什么时候适合用，什么时候不适合的建议。可能用户在实际开发中遇到了性能瓶颈，想用并行流来优化，但不知道注意事项。我需要强调测试的重要性，建议他们在使用前评估数据量和操作成本，同时考虑并行带来的开销。最后，对比一下parallelStream和CompletableFuture，或者其他并发工具，帮助用户理解不同工具的适用场景。比如，parallelStream适合简单的数据并行处理，而更复杂的异步任务可能需要其他机制。总结下来，回答的结构应该包括定义、与顺序流的区别、使用示例、原理、注意事项、性能考量、适用场景和常见问题。确保内容清晰，覆盖用户可能关心的各个方面，同时避免技术错误，比如正确解释ForkJoinPool的工作方式，以及并行流的线程安全要求。</think>Java中的`parallelStream()`是Java 8引入的并行流（Parallel Stream）功能，它通过多线程并行处理集合数据，**利用多核CPU提升计算性能**。以下是详细解析： --- ### 一、与顺序流（`stream()`）的区别 | | `stream()`（顺序流） | `parallelStream()`（并行流） | |----------------|------------------------------|-----------------------------------| | **执行方式** | 单线程顺序执行 | 多线程并行执行（默认使用`ForkJoinPool`） | | **性能** | 适合简单操作或小数据集 | 适合复杂计算或大数据集 | | **线程安全** | 无需考虑线程同步 | 需保证操作是线程安全的 | --- ### 二、核心特性与使用场景 #### 1. 并行处理集合 **示例代码**： ```java List<Integer> numbers = Arrays.asList(1, 2, 3, 4, 5); // 并行计算平方和 long sum = numbers.parallelStream() .mapToLong(n -> n * n) .sum(); System.out.println(sum); // 输出 55 ``` **底层原理**：并行流将任务拆分为多个子任务，通过`ForkJoinPool`（默认线程数 = CPU核心数）并行执行，最后合并结果。 --- #### 2. 适用场景 - **计算密集型任务**（如数学运算、数据转换） - **大数据集处理**（如过滤、映射、归约） - **无状态且无共享变量的操作** --- ### 三、注意事项与常见问题 #### 1. **线程安全问题** ```java List<Integer> unsafeList = new ArrayList<>(); // 错误示例：并行操作非线程安全集合 IntStream.range(0, 1000).parallel().forEach(unsafeList::add); // 可能抛出ArrayIndexOutOfBoundsException或丢失数据 // 正确做法：使用线程安全集合 List<Integer> safeList = Collections.synchronizedList(new ArrayList<>()); IntStream.range(0, 1000).parallel().forEach(safeList::add); ``` #### 2. **顺序依赖性** ```java List<Integer> list = Arrays.asList(5, 3, 1, 4, 2); // 并行流排序可能打乱顺序 list.parallelStream().sorted().forEach(System.out::print); // 输出顺序不确定 // 强制保持顺序 list.parallelStream().sorted().forEachOrdered(System.out::print); // 输出12345 ``` #### 3. **避免共享可变状态** ```java // 错误示例：并行操作共享变量 AtomicInteger count = new AtomicInteger(0); IntStream.range(0, 1000).parallel().forEach(i -> count.addAndGet(i)); // 虽然AtomicInteger线程安全，但频繁CAS操作会降低性能 // 更好的方式：使用归约（Reduction） int sum = IntStream.range(0, 1000).parallel().sum(); ``` --- ### 四、性能优化建议 1. **评估数据规模** - 数据量小（如 < 1000元素）时，并行化开销可能抵消性能优势 - 经验公式：`N（元素数量） × Q（单个元素处理成本） > 100,000` 时适合并行 2. **调整线程池** 默认使用`ForkJoinPool.commonPool()`，可通过JVM参数修改： ```bash -Djava.util.concurrent.ForkJoinPool.common.parallelism=4 ``` 3. **避免阻塞操作** 并行流适合纯计算任务，若包含I/O或同步代码块，可能导致线程阻塞。 --- ### 五、对比其他并发工具 | | `parallelStream` | `CompletableFuture` | `ExecutorService` | |----------------|--------------------------------|--------------------------------|--------------------------------| | **定位** | 声明式数据并行 | 异步任务编排 | 手动控制线程池 | | **适用场景** | 集合数据处理 | 多任务依赖关系管理 | 复杂线程调度 | | **易用性** | 高（链式调用） | 中 | 低（需手动管理） | --- ### 六、典型应用场景 1. **大规模数据过滤** ```java List<String> largeList = ...; // 10万+元素 List<String> filtered = largeList.parallelStream() .filter(s -> s.length() > 5) .collect(Collectors.toList()); ``` 2. **并行归约计算** ```java // 并行计算词频统计 Map<String, Long> wordCount = Files.lines(Paths.get("big.txt")) .parallel() .flatMap(line -> Arrays.stream(line.split(" "))) .collect(Collectors.groupingByConcurrent( Function.identity(), Collectors.counting() )); ``` --- ### 总结 - **优势**：简化并行编程，自动负载均衡，适合计算密集型任务 - **劣势**：调试困难，需注意线程安全，不适用于有状态操作 - **最佳实践**：先用`stream()`验证逻辑正确性，再尝试`parallelStream()`优化性能