【惊人揭秘】Java并行流魔法:600ms查询秒变260ms,效率飙升120%的极速之旅!

013-若依pro(ruoyi-vue-pro)的用户体系 AdminUser 管理员用户,前端访问 yudao-ui-admin (opens new window)管理后台,后端访问 /admin-api/** RESTful API 接口。MemberUser 会员用户,前端访问 yudao-ui-user (opens new window)用户 App,后端访问 /app-api/**RESTful API 接口。 阅读详情

我在前几天写需求的时候遇到了这样的一个问题,就是通过设备Id反查设备监测类型,并返回24小时的数据情况;

但是这里设计到多次查询,导致一个简单的查询竟然需要消耗600ms,忍不了,太慢了,必须跟我一样做风一样的男人。

于是乎我开始着手修改此事,以下是源代码:

//检查时间
        final String currentDate = StringUtils.isEmpty(date) ? LocalDate.now().toString() : date;
        Long userId = SecurityFrameworkUtils.getLoginUserId();
        //不用做验证,因为他们前端直接点的设备 根据id查询设备,获取他都监测类型,并根据,分割,使用并行流加快速度
        String deviceMonitorType = deviceInfoMapper.selectOne(DeviceInfoDO::getId, equipmentId).getDeviceMonitorType();
        if (StringUtils.isEmpty(deviceMonitorType)) return null;
        return Arrays.stream(deviceMonitorType.split(","))
                .collect(Collectors.toMap(Function.identity(), type -> equipmentDataMapper.getEquipmentDataById(equipmentId, currentDate, type,userId)));

这个查询竟然要执行600ms左右,于是我想到了上篇文章中提到的“CompletableFuture”,来执行他,结果并不理想,进入还需要550ms左右,我在 想还有什么优化方案吗?

我们先分析:

1.肯定是多次查询

2.不能修改为单次查询(应该可以,但是sql修改量太大了,没必要)

忽然灵光乍现,想起来并行流,于是忽,我开始着手尝试;

以下是代码

 public Map<String, List<Map<String, Object>>> getEquipmentDataById(String equipmentId, String date) {
        //检查时间
        final String currentDate = StringUtils.isEmpty(date) ? LocalDate.now().toString() : date;
        Long userId = SecurityFrameworkUtils.getLoginUserId();
        //不用做验证,因为他们前端直接点的设备 根据id查询设备,获取他都监测类型,并根据,分割,使用并行流加快速度
        String deviceMonitorType = deviceInfoMapper.selectOne(DeviceInfoDO::getId, equipmentId).getDeviceMonitorType();
        if (StringUtils.isEmpty(deviceMonitorType)) return null;
        return Arrays.stream(deviceMonitorType.split(","))
                .parallel()
                .collect(Collectors.toMap(Function.identity(), type -> equipmentDataMapper.getEquipmentDataById(equipmentId, currentDate, type,userId)));
    }

我就添加了一个小小的并行方法,发现速度已经提升到260ms左右,于是我欣喜,我们目标是降低至300ms左右,之前我一直 不理解并行流的使用时刻,这不就是一个很好的例子,时间量多,而且要多次查询,用并行流真的是绝秒之举;

Java Stream 并行流介绍
Java Stream API 是 Java 8 引入的一个重要特性,它提供了一种高效、灵活的方式来处理集合(Collection)中的数据。Stream API 支持两种主要的数据流处理方式:顺序流(Sequential Stream)和并行流(Parallel Stream)。本文将重点介绍 Java Stream 并行流。

一、并行流的定义
并行流是 Java 8 引入的一种并行计算模型,它允许对集合类型数据进行高效的并行处理。底层实现使用了多线程技术,利用多个处理线程同时对数据进行处理,以加快计算速度。在使用并行流时,数据流会被分成多个独立的子流,并行执行处理操作。每个子流都会被分配到不同的线程上同时进行处理,最终处理结果会被合并为一个整体结果。

二、并行流的实现机制
并行流的实现基于 Fork/Join 框架,这是 Java 中用于处理递归型分治任务的标准框架。Fork/Join 框架使用了一种递归的分治策略,将任务划分为多个小任务,然后并行执行这些小任务,并最终将结果合并起来。在并行流的实现中,数据会被分割成多个数据块,每个数据块会被分配给一个线程进行处理。每个线程只负责处理自己分配到的数据块,避免了线程之间的竞争和同步操作。

三、并行流的使用方法
在 Java 中,可以通过调用集合的 .parallelStream() 方法或顺序流的 .parallel() 方法来创建并行流。例如:

java
List<Integer> numbers = Arrays.asList(1, 2, 3, 4, 5);  
// 使用 parallelStream() 方法创建并行流  
Stream<Integer> parallelStream = numbers.parallelStream();  
  
// 或者,先创建顺序流,再转换为并行流  
Stream<Integer> anotherParallelStream = numbers.stream().parallel();
这两种方法在功能和性能上是相同的,它们都可以将集合转换为并行流,并在并行处理数据时,使用相同的底层实现机制。

四、并行流的适用场景
并行流在处理大规模数据集或执行复杂计算操作时能够显著提高程序的执行效率。具体来说,以下场景适合使用并行流:

大规模数据集:当需要处理的数据量非常大时,使用并行流可以充分利用多核处理器的优势,将数据切分成多个小块,并在多个线程上并行处理,从而缩短处理时间。
复杂计算操作:对于复杂的计算操作,使用并行流可以加速计算过程。由于并行流能够将计算操作分配到多个线程上并行执行,因此可以有效地利用多核处理器的计算能力,提高计算的速度。
无状态转换操作:并行流在执行无状态转换操作(如 map、filter)时表现较好。这类操作不依赖于其他元素的状态,每个元素的处理是相互独立的,可以很容易地进行并行处理。
五、并行流的注意事项
线程安全问题:并行流的操作是在多个线程上并行执行的,因此需要注意线程安全问题。如果多个线程同时访问共享的可变状态,可能会导致数据竞争和不确定的结果。在处理并行流时,应避免共享可变状态,或者采用适当的同步措施来确保线程安全。
性能评估:并行流的性能提升并不总是明显的。在选择使用并行流时,应根据具体情况进行评估和测试,以确保获得最佳的性能提升。有时,并行流的开销(如线程的创建和销毁、数据切割和合并等)可能超过了其带来的性能提升。
操作的可并行性:并行流适用于那些可以被独立处理的操作。如果操作之间存在依赖关系或者需要共享状态,那么并行化可能会引入线程同步的开销,降低性能。
综上所述,Java Stream 并行流是一种强大的并行计算工具,它允许开发人员以声明性的方式处理集合数据,并通过多线程技术提高程序的执行效率。然而,在使用并行流时,也需要注意线程安全问题、性能评估以及操作的可并行性等因素。

以上是并行流的介绍,有兴趣的可以看一下,大概的意思就是说,他类似于多线程,可能会有安全隐患问题,而且在数据少的情况下,并不适用,所有说,任何东西的使用都要看自己的情况,例如:我上一个遇到的问题就适合用异步来解决,这个就更适合使用并行流来解决;

Spring Security如何拿到登录用户的信息 Data直接让TUser实现UserDetails接口额外写一个LoginUser实现UserDetails,并包装TUser职责分离(Separation of Concerns) 阅读详情

相关推荐

高效爬取懂车帝车型数据:从静态解析到动态反爬实战

本文详细解析了如何高效爬取懂车帝车型数据,从静态HTML解析到动态接口反爬的完整实战路径。文章重点介绍了使用浏览器开发者工具定位数据、应对CSS混淆与参数加密等反爬策略,并提供了整合静态与动态抓取逻辑的Python代码示例,帮助开发者稳健地获取结构化车型信息。

wind6的博客 939

JAVA安全服务工具类

package com.project.common.utils; import com.project.common.constant.HttpStatus; import com.project.common.core.domain.model.LoginUser; import com.project.common.exception.CustomException; import org.springframework.security.core.Authentication; import o.

qq_35460634的博客 399

【ESP32-IDF】I2S音频协议实战:从PDM麦克风到PCM扬声器的全链路解析

本文深入解析ESP32-S3的I2S音频协议,从PDM麦克风采集到PCM扬声器输出的全链路实现。详细介绍了硬件PDM转PCM、Standard模式配置及混合模式协同工作,提供实战代码与性能优化建议,助力开发者高效完成嵌入式音频项目开发。

pea55的博客 890

使用Security安全框架实现权限登录

使用Security安全框架实现权限登录 Security是一个基于Spring安全访问控制解决方案的安全框架 代码如下: @Service("sysUserService") @Transactional //事务注解 public class SysUserServiceImpl implements SysUserService { @Autowired(required = false) private SysUserDao sysUserDao; @Override

qq_45742386的博客 460

PyFluent进阶实战:自动化密闭几何(Watertight)网格生成

本文深入探讨了如何利用PyFluent实现自动化密闭几何(Watertight)网格生成。通过Python脚本控制Fluent Meshing工作流,工程师可以高效、一致地完成从几何导入、局部尺寸定义、面网格生成到边界层设置和体网格输出的全过程,从而将复杂的CFD前处理工作转化为可重复、可集成的自动化流程,极大提升仿真效率和知识复用性。

t8u9v0w1x的博客 582

从理论到波形:NE555多谐振荡器设计与示波器实战验证

本文详细介绍了NE555多谐振荡器的设计原理与实战验证方法。从基础理论到电路参数计算,再到面包板搭建与示波器测量,全面解析如何利用NE555芯片实现稳定的方波输出。通过实际案例演示了频率调整、占空比优化等技巧,并提供了常见问题排查指南,帮助电子爱好者快速掌握这一经典电路设计。

weixin_29159613的博客 284

学习记录680@springboot+vue+nginx+springsecurity环境下的websocket实战

因为一般情况下,前端访问的地址会根据nginx转发到真正的服务地址,因此在nginx中必须要配置转发websocket的逻辑。比如假设我这里本来访问的是ws://123.1.0.25:9071/,要转发到http://127.0.0.1:8080(当然如果是没有nginx的情况下,就直接使用原本服务的地址+原本服务的端口号即可,比如本机的时候,就应该是ws://localhost:8080/websocket/this.userId,注意这个8080是本身的服务端口)

教练我想学编程 1392

2025年普通人转向人工智能运维(AIOps)学习建议(附最新技术实践与资源)

AIOps不仅是技术的叠加,更是运维流程的重构。建议通过“学习-实践-反馈”循环,逐步从工具使用者成长为解决方案设计者。如需完整资源链接,可访问上述推荐的优快云博客及GitHub仓库。

资深全栈架构师,乐于在 优快云 分享技术见解,与大家携手共进,共攀技术巅峰! 3096

芋道权限:查询自己及下级的数据

权限:查询自己及下级的数据

qq_31315703的博客 2828

【PowerBI专栏】PowerBI导入MYSQL数据库

本文介绍了在PowerBI中连接MySQL数据库的方法。首先需要下载并安装MySQL官方.NET连接驱动(推荐8.4.0版本),安装完成后重启PowerBI。连接时需填写服务器IP和数据库名称等必填参数。文章详细说明了连接配置步骤,包括账户设置、数据表选择以及可能遇到的数据格式转换问题处理。最后指导用户完成数据清洗后进入PowerPivot进行后续计算。特别提醒最新9.4版本可能存在兼容性问题,建议使用稳定的8.4版本连接器。

技术与管理的平衡木- 698

198、影像系统设计评审流程:从需求评审到 EVT、DVT、PVT 各阶段的关注重点

本文详细介绍了影像系统从需求评审到EVT、DVT、PVT各阶段的设计评审流程及关键点。作者通过实际案例(如IMX766模组偏紫问题)强调硬件工艺的重要性,指出影像系统是功能定义与物理实现的反复拉锯过程。文章分阶段解析:需求评审需将模糊需求转化为物理参数;架构评审要明确接口定义和时序约束;EVT阶段重点关注模组一致性和基础链路;DVT阶段需平衡算法调优与硬件验证;PVT阶段则以量产一致性为核心。最后提出建立"边界条件确认表"和"健康度看板"等实用建议,强调工程师需具备从表象追溯硬件根源的物理直觉。全文贯穿实战

sundong_81的博客 218

spring boot中常用的安全框架 Security框架 利用Security框架实现用户登录验证token和用户授权(接口权限控制)

org.springframework.security.crypto.password.PasswordEncoder 接口。

Json的知识梦工厂 6602

Raspberry Pi 4 ARM Trusted Firmware 技术解析

摘要: 本文详细介绍了在树莓派4(Raspberry Pi 4)上移植ARM可信固件(TF-A)的实现方案与安全考量。该移植专注于BL31功能,作为非安全世界(如Linux内核)的启动桥梁,支持加载EL2级别程序。文章分析了启动流程、内存映射设计,并对比了RPi3与RPi4的关键差异,指出当前版本缺乏硬件级安全内存保护的局限性。此外,提供了构建指南、配置说明及设备树自动修补的实现细节,强调通过config.txt简单配置即可启动64位内核。该方案充分利用树莓派原有GPU固件流程,兼顾兼容性与简易性。

Linux内核架构师 932

spring Security安全框架简单使用1.2--用户角色从数据库获取方法

pom.xml: <dependency> <groupId>org.springframework.security</groupId> <artifactId>spring-security-web</artifactId> </dependency> <dependency> ...

Bird_King的博客 455

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

记录页面修改差异(java注解实现)

系统中有用户、客户等信息时,需要记录修改前后的差异;

一起coding,一起嗨。 1897

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

芋道源码 - RabbitMQ + WebSocket 实现分布式消息推送

芋道源码 - RabbitMQ + WebSocket 实现分布式消息推送, 单聊、群发消息

weixin_43652507的博客 1414

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

芋道框架的权限控制机制

其中,注解@PreAuthorize("@ss.hasPermission('system:post:query')"),表明了,要想调用本方法,需要当前用户具有'system:post:query'权限。那么,@PreAuthorize("@ss.hasPermission('system:post:query')")这段代码是如何被执行的呢?可以看到,其中有一个方法hasPermission,正是上文中提到的注解中的方法。该方法的操作就很明显了,就是通过查询数据库,来判断当前的用户是否拥有对应的权限。

cluniquecui的专栏 3518

Token认证,如何快速方便获取用户信息

背景 我们有一个Web项目,这个项目提供了很多的Rest API。也做了权限控制,访问API的请求必须要带上事先认证后获取的Token才可以。 认证的话就在Filter中进行的,会获取请求的Token进行验证,如果成功了可以得到Token中的用户信息,本文的核心就是讲解如何将用户信息(用户ID)优雅的传递给API接口(Controller)。 方式一(很挫) 我们在Filter中进行了统一拦截,在...

weixin_33849942的博客 3118

yudao框架使用

yudao使用经验

lili1158的博客 4136

高效使用并行流

高效使用并行流 一般而言,想给出任何关于什么时候该用并行流的定量建议都是不可能也毫无意义的,因为任何类似于“仅当至少有一千个(或一百万个或随便什么数字)元素的时候才用并行流”的建议对于某台特定机器上的某个特定操作可能是对的,但在略有差异的另一种情况下可能就是大错特错。尽管如此,我们至少可以提出一些定性意见,帮你决定某个特定情况下是否有必要使用并行流。 如果有疑问...

qq_35634181的博客 600

SecurityUtils.getUser()获取为空的场景

SecurityUtils.getUser() Authentication

weixin_43930851的博客 2869

GetUserLoginID

Pascal Code 12345678910111213141516171819202122232425262728293031323334353637383940414243 unitGetUserLoginID; interface uses Winapi.Windows,Winapi.Messages,Sy...

dianai0319的博客 276

ruoyi数据权限设置

如果想要自定义数据权限规则,只需要实现 DataPermissionRule (opens new window) 数据权限规则接口,并声明成 Spring Bean 即可。需要实现的只有两个方法:/*** 返回需要生效的表名数组* 为什么需要该方法?Data Permission 数组基于 SQL 重写,通过 Where 返回只有权限的数据** 如果需要基于实体名获得表名,可调用 {@link TableInfoHelper#getTableInfo(Class)} 获得*

玫翠慧 5082

Spring Security获取当前用户信息

package com.ljw.server.utils; import org.springframework.security.authentication.AnonymousAuthenticationToken; import org.springframework.security.authentication.UsernamePasswordAuthenticationToke...

LI_AINY的博客 9777

SpringBoot - 安全管理框架Spring Security使用详解(11)-获取当前用户的用户名、id

有时我们需要获取当前登录的用户信息(比如用户名),通常有如下几种方式来实现。 方法1:通过 Authentication.getPrincipal() 获取用户信息 (1)通过Authentication.getPrincipal()可以获取到代表当前用户的信息,这个对象通常是UserDetails的实例。通过UserDetails的实例我们可以获取到当前用户的用户名、密码、角色等信息。 Spring Security使用一个Authentication对象来描述当...

Andy's Blog 6219

SecurityUtil--自定义权限工具类

package cn.webyun.asksea.core.util; import org.springframework.security.core.authority.SimpleGrantedAuthority; import org.springframework.security.core.context.SecurityContextHolder; import cn.weby...

fujianmin19910915的博客 1652
上一篇: 揭秘!Java我如何让42000毫秒数据处理时间大缩水,效率飙升6倍,直降至6000毫秒,速度新纪元
下一篇: 数据库逻辑删除时查询为什么不可用用like来进行查询?它们之间有什么转换吗?
amz_java
博客等级 码龄4年 35粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值