【Java】记一次parallelStream线程安全问题

原创 已于 2022-05-05 16:42:04 修改 · 2.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java

于 2022-03-30 22:52:14 首次发布
本文探讨了在Java中使用并行流处理集合时遇到的并发修改异常问题，并提供了几种解决方案，包括使用CopyOnWriteArrayList、在parallelStream与forEach间加入collect操作以及改用串行流。

1.错误：

		tokenInfo.getRoleIdSet().parallelStream().map(roleId -> {
			SysRole role = new SysRole();
			role.setId(roleId);
			return role;
		}).forEach(role -> securityUser.getRoleList().add(role));

securityUser.getRoleList()是ArrayList，是线程不安全的。

2.改正：

		tokenInfo.getRoleIdSet().parallelStream().map(roleId -> {
			SysRole role = new SysRole();
			role.setId(roleId);
			return role;
		}).collect(Collectors.toSet()).forEach(role -> securityUser.getRoleList().add(role));

3.解决方案：

  1. 将securityUser.getRoleList()的ArrayList改为CopyOnWriteArrayList。
  2. 继续使用ArrayList，同时parallelStream()和forEach()之间调用一次collect()（图中用的是这一种）。
  3. 用stream()代替parallelStream()。
parallelStream线程问题及解决方案
leo187的博客
03-28 615
可以在多个线程中并行处理流数据，提高性能。然而，如果在处理过程中涉及共享的可变状态，可能会导致线程不安全的问题。
Java 并行流（Parallel Stream）详解
weixin_73060959的博客
03-03 2214
并行流是Java 8引入的高效处理集合数据的工具，通过多线程加速计算。Fork/Joinparallel()mapfilterreduce并行操作中修改共享变量会导致线程安全问题，应使用无状态操作或同步控制。如sorted()distinct()在并行流中可能更耗时，需合并线程结果。ArrayListLinkedListTreeSet使用保证顺序，但牺牲性能。
关于Java8 parallelStream并发安全的深入讲解
08-26
主要给大家介绍了关于Java8 parallelStream并发安全的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
关于parallelStream的线程安全
Lou_Lan的博客
07-10 1693
做过java开发的程序猿基本上都会遇到 线程安全 这个问题，绝大部份的原因都是因为多个线程对同一个共享变量进行了修改操作。
parallelStream并发流线程安全问题
a116655443322的博客
11-08 5266
parallelStream并发流线程安全问题
parallelStream中的线程安全问题
不一样的花朵的博客
12-14 1万+
parallelStream中的线程安全问题 在面试的时候很多人喜欢问并发编程，那么在实际开发中我们能用到多少呢？今天在这里举个例子就是实际开发中的并发编程的问题。在我们经常写的业务代码中很多时候会出现遍历循环的情况，比如取集合数据、封装集合数据等等，这是我们不能避免的。 在jdk1.8中给我们提供了stream；为什么在很多时候我们的遍历还是进行普通的循环？因为这个和我们的编程习惯有关系，我最初...
java8使用parallelStream遍历导致线程不安全问题
武陵人
03-26 2586
因为parallelStream使用了多线程所以难以保证线程安全，容易导致数据的丢失 原本代码：不安全 public List<List<Object>> getReportListBody(List<ReportList> ReportLists) { List<List<Object>> result = new LinkedLis...
修改Java默认parallelStream线程数量
池塘
07-29 2203
环境 运行环境：k8s+jib。 业务环节：每个容器是独立的计算单元。 需求 如题。 在k8s中测试发现，parallelStream的效果不佳，定位问题在System.getProperty("java.util.concurrent.ForkJoinPool.common.parallelism") 没用值，常见的修改方式是自定义ForkJoinPool或是直接设置属性System.setProperty("java.util.concurrent.ForkJoinPool.common.paralle
通过实例解析java8中的parallelStream
08-25
Java8中的parallelStream是一种并行执行的流，它可以将大任务切分成多个小任务，从而提高多线程任务的速度。parallelStream是Java8中新增加的一个特性，它可以并行化操作，迭代器只能命令式地、串行化操作。 Stream...
ArrayList线程不安全的表现
热门推荐
TOOCRUEL
09-18 2万+
原文：https://www.toocruel.net/arraylistxian-cheng-bu-an-quan-de-biao-xian/ ###ArrayList部分源码 public class ArrayList&amp;lt;E&amp;gt; extends AbstractList&amp;lt;E&amp;gt; implements List&amp;lt;E&amp;gt;, RandomAccess, ...
Java8 parallelStream线程安全问题的处理
1853
04-17 2296
parallelStream线程安全问题的处理 1.1、实例（传统方法） package com.asia.tip; import java.util.ArrayList; import java.util.List; import org.junit.Test; import org.springframework.boot.test.context.SpringBootTest; @SpringBootTest public class TestParallelStream { @Test
使用parallelStream时，容易忽略的线程安全问题
我怀念的
12-09 1877
当我们在使用parallelStream去开启多线程处理任务的时候，在需要得到最终处理结果会出问题。举个栗子。。。 public static void main(String[] args) throws InterruptedException { List<Integer> list = new ArrayList(); List<Integer> list1 = new ArrayList(); for (int i = 0;
parallelStream() 线程安全完美解决方案，求大神批评
YOUGROOT的博客
12-20 1万+
java 8 parallelStream()多管道的使用初试牛刀 parallelStream()也有人叫它并行流，都是同样的概念，多线程。 既然是多线程，那么它一定有线程安全问题，那么要怎么控制呢？废话少说，一起来看下吧！ 背景：遍历集合时候使用parallelStream()会比stream()快很多，但是我们写个demo，你就会发现，数据丢失了。。。 上代码： //创建集合大小为1...
parallelStream并行流使用踩坑，集合安全
m0_52796363的博客
11-29 3262
后续在调试过程中发现，resultList中的数据量会随机少一两个数据，比如codeList中数据为1，2，3，4，5. 经过过滤后本应添加到resultList中的数据为1，2，3，4. 但是发现只加进来了1，2，3或者是1，2，4 会有数据确实的情况，本来以为是过滤条件的问题，排查后发现过滤条件没有问题，开始怀疑是并行流的问题。在添加数据时，他会先复制原来的数组然后在新的数组上面进行添加，最后再将新数组覆盖到旧的上面。如果在操作过程中切换了线程到读，此时的旧数组并未被覆盖，读取到的还是原来的数组。
java parallelstream_【Java】关于Java8 parallelStream并发安全的思考
weixin_34471172的博客
02-13 401
背景Java8的stream接口极大地减少了for循环写法的复杂性，stream提供了map/reduce/collect等一系列聚合接口，还支持并发操作：parallelStream。在爬虫开发过程中，经常会遇到遍历一个很大的集合做重复的操作，这时候如果使用串行执行会相当耗时，因此一般会采用多线程来提速。Java8的paralleStream用fork/join框架提供了并发执行能力。但是如果使...
jdk1.8中ParallelStream线程不安全问题
weixin_44680696的博客
12-10 2196
ParallelStream是jdk1.8stream流中基于ForkJoinPool线程池的并行执行流 作用:可以把大任务分成多个小任务执行, 最后再把执行结果进行合并, ForkJoinPool用工作窃取算法实现 问题: 由于是多线程实现,就会存在线程安全问题 安全问题 ArrayList<Integer> list1 = new ArrayList<>(); In...
关于parallelStream()引发线程不安全问题
山山来驰的博客
03-19 1276
一、问题代码 public class ParallelStreamTest { public static void main(String[] args) { List<DataA> dataAList =new ArrayList<>(); List<DataB> dataBList = new ArrayLi...
parallelStream线程不安全问题分析及解决办法
Let_me_tell_you的博客
07-03 5035
问题代码 public static void main(String[] args) { for (int i = 0; i < 5; i++) { //调用多次，复现多线程的问题 test(); } } public static void test() { //声明数据源集合 List<Integer> list = new ArrayList<>(); for (int i = 0; i <
Java8 遍历List 使用stream().parallel()并发安全
qiaobing1226的博客
12-07 8101
引入了并行流的概念来进行并行处理，而并行流(Parallel Stream)利用所有可用CPU内核的优势，并并行处理任务。其原理(Parallel Stream)是可以把大任务分成多个小任务执行, 最后再把执行结果进行合并, ForkJoinPool用工作窃取算法实现。
parallelStream线程不安全
最新发布
08-22
<think>首先，用户的问题是关于Java的parallelStream线程不安全问题及解决方法。我需要基于提供的引用内容来回答，确保回答真实可靠。 回顾系统指令： - 所有行内数学表达式用$...$，但这个问题是关于Java的，可能没有数学表达式，所以我可以忽略数学部分。 - 回答结构清晰，逐步解决问题。 - 使用中文。 - 生成相关问题。 - 在引用的段落末尾自然地添加引用标识，如[^1]。 用户的问题：我想了解parallelStream线程不安全的原因及解决方案。请问Java parallelStream 线程不安全问题及解决方法。 从引用中提取关键信息： - 引用[1]：parallelStream线程安全问题的处理示例，使用ArrayList导致数据丢失。 - 引用[2]：parallelStream多线程添加后数据丢失，线程安全问题。 - 引用[3]：parallelStream线程问题示例，使用ArrayList导致结果大小不正确。 - 引用[4]：原因分析：parallelStream使用ForkJoinPool多线程执行，ArrayList是非线程安全的。解决方案：换成stream串行执行或使用线程安全的集合如CopyOnWriteArrayList。 - 引用[5]：安全问题示例，使用ArrayList导致数据丢失。 核心原因：parallelStream利用多线程并行处理，但共享的可变状态（如ArrayList）不是线程安全的，导致数据竞争、丢失或损坏。 解决方案： 1. 使用串行流：换成stream()。 2. 使用线程安全的集合：如CopyOnWriteArrayList。 3. 其他方法：如使用synchronized块或使用collect方法收集结果。 结构回答： 1. **解释问题原因**：清晰地说明为什么parallelStream会导致线程不安全。 2. **提供示例**：用代码示例展示问题。 3. **给出解决方案**：列出并解释多种解决方法。 4. **总结建议**：根据场景推荐最佳实践。 5. **生成相关问题**：在最后添加相关问题。 确保语言流畅、专业。 完整回答结构： - 开头：简要介绍parallelStream和问题。 - 原因部分：详细解释线程不安全的原因。 - 解决方案部分：分点列出解决方案。 - 示例代码：展示问题和解决方案的代码片段。 - 结尾：总结并生成相关问题。 使用中文回答。</think>### Java parallelStream 线程不安全问题及解决方法 Java 8 引入的 `parallelStream` 是一种高效的并行流处理机制，它利用多核处理器加速数据处理，特别适合处理大型数据集。然而，`parallelStream` 在涉及共享可变状态时，容易引发线程安全问题，导致数据丢失、损坏或不一致。下面我将逐步解释原因、提供解决方案，并给出代码示例。 #### 1. **线程不安全的原因** - **核心问题**：`parallelStream` 基于 `ForkJoinPool` 实现多线程并行处理。当多个线程同时访问和修改共享的可变状态（如非线程安全的集合）时，会发生数据竞争（race condition）。例如： - ArrayList 是非线程安全的集合，其 `add` 方法在多线程环境下未同步，导致元素丢失或重复。 - 引用[2] 指出：通过 `parallelStream` 多线程添加数据后，集合大小可能小于预期（如从 1000 个元素减少到 996 个），这是因为线程不安全导致部分数据未被正确处理[^2]。 - 根本原因：Java 的集合类（如 ArrayList）在并发修改时缺乏原子性操作，多个线程同时调用 `add` 方法会覆盖彼此的操作[^4]。 #### 2. **问题示例** 以下代码演示了 `parallelStream` 的线程不安全问题。使用 ArrayList 存储结果时，多线程并发添加元素会导致数据丢失： ```java import java.util.ArrayList; import java.util.List; import java.util.stream.IntStream; public class ParallelStreamDemo { public static void main(String[] args) { // 创建一个非线程安全的 ArrayList List<Integer> unsafeList = new ArrayList<>(); // 使用 parallelStream 并行添加元素（0 到 999） IntStream.range(0, 1000).parallel().forEach(unsafeList::add); // 输出结果大小：预期 1000，实际可能小于 1000（如 996） System.out.println("Expected size: 1000, Actual size: " + unsafeList.size()); } } ``` 运行此代码时，`unsafeList.size()` 可能输出小于 1000 的值，证明数据丢失。这是因为多个线程同时修改 `ArrayList` 的内部状态，导致部分添加操作失败[^5]。 #### 3. **解决方案** 针对线程不安全问题，有以下几种解决方法，根据性能需求和场景选择： - **方法 1：使用串行流（stream）替代** - 原理：将 `parallelStream` 改为 `stream()`，避免多线程并发，确保操作顺序执行。 - 优点：简单可靠，无线程安全问题。 - 缺点：性能下降，尤其在大数据集时处理速度较慢。 - 代码示例： ```java List<Integer> safeList = new ArrayList<>(); IntStream.range(0, 1000).forEach(safeList::add); // 使用 stream() 串行处理 System.out.println("Safe size with stream: " + safeList.size()); // 输出 1000 ``` - **方法 2：使用线程安全的集合** - 原理：替换非线程安全的集合（如 ArrayList）为并发集合（如 CopyOnWriteArrayList），这些集合内部实现了同步机制。 - 优点：保持并行性能，同时避免数据竞争。 - 缺点：CopyOnWriteArrayList 在写入时复制整个数组，可能增加内存开销，适合读多写少的场景。 - 代码示例： ```java import java.util.concurrent.CopyOnWriteArrayList; import java.util.stream.IntStream; List<Integer> safeList = new CopyOnWriteArrayList<>(); IntStream.range(0, 1000).parallel().forEach(safeList::add); // 使用线程安全集合 System.out.println("Safe size with CopyOnWriteArrayList: " + safeList.size()); // 输出 1000 ``` 引用[4] 推荐此方法：在需要并行性能时，优先使用 `CopyOnWriteArrayList` 等线程安全集合[^4]。 - **方法 3：使用 collect 方法收集结果** - 原理：利用 Stream API 的 `collect` 方法，它内部处理并发安全，避免手动修改共享状态。 - 优点：高效且线程安全，是 Java 流式编程的最佳实践。 - 缺点：需要改变代码结构，可能不适用于所有场景。 - 代码示例： ```java import java.util.ArrayList; import java.util.List; import java.util.stream.Collectors; import java.util.stream.IntStream; List<Integer> safeList = IntStream.range(0, 1000) .parallel() .boxed() .collect(Collectors.toList()); // 使用 collect 安全收集 System.out.println("Safe size with collect: " + safeList.size()); // 输出 1000 ``` - **方法 4：添加同步控制（不推荐）** - 原理：使用 `synchronized` 块或锁（如 ReentrantLock）保护共享状态。 - 优点：灵活，适用于复杂逻辑。 - 缺点：易出错，性能开销大，可能导致死锁。 - 代码示例（使用 synchronized）： ```java List<Integer> safeList = new ArrayList<>(); IntStream.range(0, 1000).parallel().forEach(i -> { synchronized (safeList) { // 同步块保护 add 操作 safeList.add(i); } }); System.out.println("Safe size with synchronized: " + safeList.size()); ``` #### 4. **最佳实践建议** - **优先选择**：在大多数场景下，使用 `collect` 方法或线程安全集合（如 CopyOnWriteArrayList）是首选方案，因为它们平衡了性能和安全性[^4]。 - **避免场景**：不要在 `parallelStream` 中直接修改非线程安全的全局变量或集合（如引用[3] 中的示例）[^3]。 - **性能考量**：如果数据量小，串行流（stream）足够高效；对于大数据集，确保使用安全方法避免性能瓶颈。 - **测试验证**：编写单元测试验证并发安全性，如使用 JUnit 测试多线程下的集合大小[^1]。 通过以上方法，您可以有效解决 `parallelStream` 的线程不安全问题，确保代码的健壮性和性能。如果您有具体场景，我可以提供更针对性的建议。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值