java8 parallel并行处理实战

最新推荐文章于 2025-01-08 10:26:10 发布

转载最新推荐文章于 2025-01-08 10:26:10 发布 · 672 阅读

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/sky-chen/p/9791203.html

文章标签：

通过将传统循环替换为Java8的Stream并行处理，显著提升了大规模数据统计的效率，特别是在涉及数据库操作的场景中，实现了近两倍的速度提升。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我需要做一个人员某几项数据的统计，由于数据量较大，不能一次性加载到内存进行统计。所以采用了遍历每个用户。当然也可以分配处理。
分析需求可得知，每个用户其实互不相关，数据的统计可以同步进行，因此考虑到并发执行。而java8刚好提供了这样的功能，对集合数据的并发执行parallel，所以有了以下测试

原代码用时
- 2018-10-15 15:03:22.863 |-INFO [SimpleAsyncTaskExecutor-1] com.beikbank.settlement.api.jobs.TaskJob [147] -| statMissUser统计数据完成，用时：196.033秒
java8 代码用时
- 2018-10-15 14:54:17.487 |-INFO [SimpleAsyncTaskExecutor-1] com.beikbank.settlement.api.jobs.TaskJob [152] -| statMissUser统计数据完成，用时：99.12秒

原代码

for (Map<String, Object> allUser : allUserList) {
    String userIdkey = allUser.get("user_id").toString();
    ...//io数据库操作
}

使用java8 流并行代码

allUserList.stream().parallel().forEach(allUser -> {
    String userIdkey = allUser.get("user_id").toString();
    ...//io数据库操作
});

数据统计存在数据库操作的，使用java8的parallel可以加快统计速度，从上面图片的对比可以看出，使用parallel后jdbc连接会存在多个并行执行，执行效率和机器配置内存等相关。
我使用的是window 2核4G且开了很多其他软件的情况测试，效率提升1倍左右

转载于:https://www.cnblogs.com/sky-chen/p/9791203.html