揭秘!Java我如何让42000毫秒数据处理时间大缩水,效率飙升6倍,直降至6000毫秒,速度新纪元

SpringBoot+Vue+MySQL 高校学科竞赛平台 完整可运行版(源码+文档) 本项目基于SpringBoot+Vue+MySQL构建高校学科竞赛管理平台,覆盖学生、教师、领队教师、管理员四大角色,实现竞赛发布、报名、刷题、评分、公示等全流程闭环管理。系统架构清晰,技术主流,配套完整源码、数据库脚本、万字论文、开题报告、答辩PPT及部署文档,支持一键运行,适用于毕业设计、课程设计及院系二次开发,真正实现“开箱即用”。 阅读详情

1.前几天我在给数据库批量添加数据,但是效率很慢,不能复用,于是乎写了一个方法,用于批量数据添加,代码为:获取用户传入的设备ID,查询该对象,并赋值,然后一条条添加;使用insert

方法(为什么不使用 “insertBatch”这个方法呢,测试过,很慢,需要52000ms,比一条条数据还慢),看了鱼皮的 数据恢复来了灵感,他使用了“CompletableFuture”这个类,来进行异步的处理;

我之前的代码为这样:


    public String createEquipmentDataBatch(String... equipmentCode) {
        Random random = new Random();
        String[] myArray = {"东风", "东南风", "南风", "北风", "东北风"};
        String[] myArray2 = {"金龟子", "蟋蟀", "蛾"};
        for (String equipmentid : equipmentCode) {
            //LinkedList<EquipmentDataDO> list = new LinkedList<>();
            //根据设备ID  查询 基地ID  地块ID 同时查询 设备分类名称 设备监测类型
            Map<String, Object> maps = equipmentDataMapper.selectEquInfo(equipmentid);
            //字符切割遍历 设备采集类型 针对不同值进行赋值,并进行循环插入
            for (String item : maps.get("monitorType").toString().split(",")) {
                //取当前时间  并循环前十天数据  并插入相关数据进行新增
                for (int i = 0; i < 10; i++) {  // 插入
                    EquipmentDataDO equipmentDataDO = new EquipmentDataDO();
                    //对设备数据进行基地ID   赋值  / 地块ID  赋值 / 设备分类名称赋值 赋值
                    // 将LocalDate与随机的时分秒组合成LocalDateTime
                    equipmentDataDO.setEquipmentCode(equipmentid)
                            .setBaseCode(maps.get("baseCode").toString())
                            .setPlotCode(maps.get("plotCode").toString())
                            .setCollectionType(maps.get("collectionType").toString())
                            .setMonitoringType(item)
                            .setCollectionTime(LocalDate.now().minusDays(i)
                                    .atTime(LocalTime.of(random.nextInt(24),
                                            random.nextInt(60),
                                            random.nextInt(60))))
                            .setId(IdUtil.getSnowflakeNextIdStr());
                    //监测类型数值判断并添加   对应检测数值跟单位
                    switch (item) {
                        case "土壤温度":
                        case "温度":
                            equipmentDataDO.setDataValue(String.format("%.2f", 15.0 + (32.0 - 15.0) * random.nextDouble())).setYyUnit("℃");
                            break;
                         //这里有很多就不展示了
                    }
                    //list.add(equipmentDataDO);
                    equipmentDataMapper.insert(equipmentDataDO);
                }
            }
        }
        //equipmentDataMapper.insertBatch(list);
        // 返回
        return "true";
    }

但是发现这个添加2个设备,即90条数据,竟然需要42000ms

叔叔能忍,婶婶也不能忍;

于是乎,简单参考了一下鱼皮的文章,发现一个很好用的类,可以“CompletableFuture”他的作用是可以异步的处理,类似于多线程,也可以传入线程池,这个方法这里就不做讨论了;

直接上代码,然后给你们解释:

 public String createEquipmentDataA(String... equipmentCode) {
        // 提前创建避免重复创建浪费资源
        Random random = new Random();
        String[] myArray2 = {"金龟子", "蟋蟀", "蛾"};
        //存放任务队列的集合
        List<CompletableFuture<Void>> completable = new ArrayList<>();
        //存放数据集合
        List<EquipmentDataDO> list = new LinkedList<>();
        //获取userId 以及部门ID
        Long userId = SecurityFrameworkUtils.getLoginUserId();
        Long loginUserDeptId = SecurityFrameworkUtils.getLoginUserDeptId();
        for (String equipmentId : equipmentCode) {
            //根据设备ID  查询 基地ID  地块ID 同时查询 设备分类名称 设备监测类型
            Map<String, Object> maps = equipmentDataMapper.selectEquInfo(equipmentId);
            //字符切割遍历 设备采集类型 针对不同值进行赋值,并进行循环插入
            for (String item : maps.get("monitorType").toString().split(",")) {
                //取当前时间  并循环前十天数据  并插入相关数据进行新增
                for (int i = 0; i < 10; i++) {  // 插入
                    EquipmentDataDO equipmentDataDO = new EquipmentDataDO();
                    //设置对象属性
                    EquipmentDataDOSetParameter(equipmentDataDO,random,myArray2,equipmentId,maps,item,i,userId,loginUserDeptId);
                    list.add(equipmentDataDO);
                }
            }
        }
        //批量插入 90条数据 测试时共耗时6168ms,若使用并行流耗时11335ms
        final int batchSize =10;
        for (int i = 0; i < list.size(); i+=batchSize) {
            // 获取当前批次
            int endIndex = Math.min(i + batchSize, list.size());
            // 获取当前批次
            int finalI = i;
            // 添加任务
            completable.add(CompletableFuture.runAsync(() -> equipmentDataMapper.insertBatch(list.subList(finalI, endIndex))));
        }
        //等待所有任务完成
        CompletableFuture.allOf(completable.toArray(new CompletableFuture[0])).join();
        // 返回
        return "success, 已添加:"+list.size()+"条数据";
    }

大概流程就是,把所有要添加的数据,进行了存放list的情况,然后根据我想要的大小进行分割(为什么不直接使用insertBatch添加整个列表呢,因为我试过了添加效率比一个个还慢,需要真正52000ms左右,索性还不如使用异步的方法进行添加),所以我按照鱼皮的方案,直接使用了这个对象的异步处理(不需要返回的版本),这样在添加完后,实测共耗时:6168ms,比之前快了600%的效率;

到这里有的同学会问,这样写很麻烦,为啥不适用stream的并行流呢,嘿嘿,我替你们试过了,使用并行流,添加90条数据,共耗时:若使用并行流耗时11335ms,所有最后采用了“CompletableFuture”这个异步处理的方案;大家有时间可以都测试测试,这种方案不一定最快,最好,找到最适合自己的;

大家有时间可以学习一个这个异步处理类,说不定,真的那天就派上用场了

本文灵感来源于鱼皮:员工写了个比删库更可怕的 Bug!

015、架构_配置文件_管理节点(proxymanager.ini) 该配置文件中的参数在后台配置,两种生效方式:*所有参数重启生效。*部分参数可以使用工具dbtool动态生效。动态生效命令为:dbtool-pm-load-config。配置文件“proxymanager.ini”用于设置元数据管理模块的信息。文件路径为“~/etc”。配置文件“proxymanager.ini”是普通的文本文件。默认值proxymanager-alarmconfutf8.txt。配置错误或不配置,PM无法连接MDS,无法服务。获取元数据失败超时处理时间。异常时请求启动对等回滚。 阅读详情

相关推荐

关于Win11安装Ubuntu子系统报错:WslRegisterDistribution failed with error 解决办法

Win11安装Ubuntu子系统报错:WslRegisterDistribution failed with error

qq_51908382的博客 3万+

java记录代码运行时间毫秒微秒

java记录代码运行时间毫秒微秒级

2304

ESP32+MAX7219二进制时钟设计与嵌入式时间映射实践

二进制时钟是嵌入式系统中数据表示与物理呈现深度耦合的典型范例,其核心在于将时间语义(年月日时分秒)解构为比特位,并通过LED点阵的空间权重布局实现直观识别。该设计依托RTC模块提供时间基准,依赖SPI协议完成微控制器与专用驱动芯片(如MAX7219)的可靠通信,涉及寄存器级配置、位图坐标变换、软硬件时序对齐等关键原理。技术价值体现在低资源占用下的高可读性人机交互,适用于教学演示、极客项目及嵌入式UI原型开发。本文聚焦ESP32平台在MicroPython环境下,结合MAX7219驱动8×8点阵实现高可靠性二

weixin_42160645的博客 304

java中批量插入数据优化问题

开发中遇到excel大量数据批量入库时候,逐条插入数据很慢导致卡顿问题。

ClearDream__的博客 1087

封包(一)(雷电模拟器+ProxyDroid+查尔斯3.93+WPE)

自从换了工作就没有给大家分享一些干活,在加上陪伴自己的孩子没有时间更新文章了,这只能在晚上给大家写文档了,我最近在游戏公司上班,研究封包。我把这些东西都做成了笔记,我想有些东西是大家都想弄明白d ...

寒梅独自开 1万+

uses ARM-Compiler ‘Default Compiler Version 5‘ which is not available. MDK5.37安装ARM_Compiler_5

MDK5.37安装ARM_Compiler_5 最后一个AC5编译器,从MDK5.37开始,不再默认安装,需要独立安装 ARMCompiler_506_Windows_x86_b960.zip (80.94MB) 否则使用AC5编译代码报错如下: Build started: Project: Project *** Target 'STM3210C_EVAL' uses ARM-Compiler 'Default Compiler Version 5' which is not available. *

mowwwcom的专栏 2万+

InnoDB 内存结构总览:Change Buffer、AHI 与 Log Buffer

本文系统梳理InnoDB内存结构中的ChangeBuffer、Adaptive Hash Index(AHI)与LogBuffer。ChangeBuffer缓存二级索引页不在内存时的变更,减少随机IO,仅在页加载时合并;聚簇索引修改立即执行,因数据本身不可延后。AHI基于高频等值查询自动构建哈希索引,加速定位,仅支持等值操作。LogBuffer为redo log内存缓冲,配合磁盘日志实现崩溃恢复。三者均服务于性能优化,其中ChangeBuffer与AHI共享BufferPool空间,而LogBuffer独立

bksczm的博客 310

RK3568(buildroot)利用squashfs+overlay实现嵌入式系统高可靠存储方案

本文详细介绍了在RK3568嵌入式平台上,基于Buildroot系统,利用squashfs只读根文件系统与overlayfs可写层相结合的高可靠存储方案。该方案能有效防止设备意外断电导致的系统文件损坏,通过内核配置、启动脚本编写及镜像制作,实现系统核心的只读保护与用户数据的持久化分离,显著提升嵌入式设备的现场稳定性。

weixin_29189381的博客 548

信创环境下PageOffice文档控件适配与实践

信创适配做到文档控件这一层,拼的已经不是"有没有国产版本",而是同一个功能在两类终端上是否真的等价。等价的标准很具体:同一次点击能得到同样的结果,同一份公文能得到同样的版式,同一个项目不需要维护两套代码。这背后是三件并不轻松的工作:服务端用一套接口同时支撑两类终端,客户端把两种系统与四种芯片的安装包分发清楚,文档内核层由产品侧跟着 WPS 的版本走。浏览器这一层的压力,则被收进了产品自己的窗口里——升级节奏由产品掌握,不再交给运气。

zi_wu_xian的专栏 336

最新Python爬虫实战(入门爬虫篇)——案例16:2345天气网城市天气预报数据采集(详细爬虫思路截图+抓包动图演示+完整爬虫代码+详细注释)

本次案例通过 Python 爬虫技术,成功实现了对 2345 天气网城市 15 天天气预报数据的批量爬取与 Excel 保存。代码采用模块化设计,包含网页请求、HTML 解析、数据清洗、Excel 持久化等完整流程;通过配置模拟浏览器的请求头,有效规避基础反爬策略,保证请求的稳定性。整个爬虫逻辑遵循 “网页请求 → HTML 解析 → 提取天气信息 → 保存到 Excel” 的标准流程,与静态网页爬取范式高度一致。

努力让自己发光,对的人才能迎着光而来 10万+

SoulX-FlashHead 加速实践,提升3倍。

SoulX-FlashHead 加速实践,提升3倍。

jacke121的专栏 224

第三篇 第 6 课

前置:第三篇第 1 课(stdx 引入),第二篇第 1 课(std.regex)。环境:仓颉 SDK 1.2.0。本文所有代码与输出均逐行实测。

weixin_41618057的博客 557

Close-By Site Assignment,门店近邻关系在 SAP Retail 物料搜索里的真实价值

SAP零售模块中的"Close-By Site Assignment"功能常被低估,但它在门店现场业务中极为关键。该功能允许预先定义各门店间的近邻关系,当导购或店长查询商品时,系统会自动展示附近门店的库存、价格和促销信息。与单纯的地理距离不同,这种近邻关系可基于调拨频率、业务关联度等业务逻辑定义。维护入口在事务码WSD_CBP中,支持按应用场景(如销售、采购)分别设置不同近邻关系。该功能不同于组织结构,专注于增强搜索体验,特别适合多门店运营场景,能有效提升跨店查询效率。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 4854

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 616

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

pcl2启动器下载(Minecraft PCL2 启动器 最新版 安装与使用说明)

摘要:PCL2(Plain Craft Launcher 2)是一款面向 Minecraft 的第三方启动器,支持正式版与快照版本管理、模组与整合包安装、Java 运行时自动匹配,绿色免安装、双击即可运行。适合在 Windows 上玩单机整合包、需要多版本共存或离线启动的用户使用

2611_96675819的博客 226

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

spring boot 4集成SQLLite,及其SQLLite的建库

spring boot 4集成SQLLite,及其SQLLite的建库

weixin_41463944的博客 239

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Java 集合容器高频面试题全解:HashMap 树化阈值、1.7 死循环与 ConcurrentHashMap 演进(2026 招聘 JD 真题复盘)

HashMap 树化阈值 8 的泊松分布依据、退化阈值 6 的防抖设计、JDK 1.7 头插成环死循环的排查与修复、1.8 尾插后为何仍线程不安全、ConcurrentHashMap 放弃分段锁的原因与 ForwardingNode 协作扩容、computeIfAbsent 死锁陷阱、大集合找重复的场景题选型,附三层追问链自测。题目来源为 38 期公开招聘 JD 样本与字节、拼多多、建行、美团、快手公开面经。

蒙眼过河 427

spdlog 同步日志库使用详解

spdlog是一个轻量级 C++ 日志库,支持同步日志、异步日志、多线程日志、日志文件轮转和自定义日志格式。对于嵌入式 Linux 应用开发,我建议先使用。它可以帮我们完成:日志级别过滤。时间戳和线程 ID 输出。日志格式化。终端和文件输出。多线程安全写入。日志文件按大小或时间轮转。我们不需要自己实现互斥锁、文件写入、日志格式化和轮转等底层功能。

zengjiajun2006的博客 1124

JavaSE通关手册:数据类型与变量

代码无需额外处理,编译时编译器自动完成转换。

xys_678的博客 236

IDEA 简介:从零认识 IntelliJ IDEA

IDEA 全称,是由 JetBrains 公司开发的一款主流 Java 集成开发环境(IDE)。它集代码编辑、编译、调试、测试、版本控制、构建管理等功能于一体,被大量 Java 开发者视为日常开发的首选工具。所谓 IDE(Integrated Development Environment,集成开发环境),就是把写代码所需的各类工具整合到同一个界面中。相比只用文本编辑器加命令行编译,IDE 能显著减少重复操作,让开发者把精力集中在业务逻辑上。

ztI10的博客 187

Docker部署linkding:HTTPS与数据备份

部署私人书签库,除了让页面能够打开,还需要考虑几个实际问题:重建容器后数据是否保留、登录和保存是否正常、升级前怎样备份,以及出现 502 或 CSRF 错误时从哪里检查。本文使用 Docker Compose 部署 linkding,采用默认 SQLite 数据库,通过 Caddy 提供 HTTPS,并完成账户创建、数据持久化验证和备份。如果重建后账户或书签消失,应先检查是否换了项目目录、改了挂载路径,或者启动了另一套实例,不要急着重新初始化。遇到权限问题,应根据日志确认具体目录和运行用户,再调整权限。

tedcloud123的博客 194

动态代理两大流派:JDK 代理与子类代理

业务类想加日志,最直白的写法是侵入式修改: 问题很明显:每个方法都要改一遍,改一个业务要动十处。代理模式的解法是:调用方不直接依赖 ,而是依赖一个代理对象。代理对象长得跟目标一模一样,调用它 → 代理先执行增强逻辑 → 再转调真实对象。 关键在于:代理对象的类型是哪来的?这就是"动态"二字的含义:代理类在运行时才诞生。两个角色: 承载增强逻辑, 负责生成代理类。 组装代理并调用: 输出: 业务代码 一行没动,增强逻辑全在 里。这就是 AOP 的味道。 内部四步: 第 2 步 内部:先查 (同一个接口

Android的专栏 663

C++20协程怎么运行?原理与三大核心组件深度剖析

C++20协程是轻量级的无栈状态机,通过co_await、co_yield、co_return实现挂起与恢复,由Promise、协程句柄和Awaitable三大组件协同工作。协程与线程互补,适用于高效管理大量并发I/O任务,显著降低上下文切换开销。其核心在于编译器生成的状态机机制,需配合库(如cppcoro)使用。掌握Promise控制逻辑、句柄生命周期管理及Awaitable语义,是构建高性能异步程序的基础。

Lucis__的博客 336

c++ explicit关键字详解

explicit。

拒绝AI文,努力在AI时代写出感动人心的好文章 170

TRingBuffer两端都能增删(快递站版)

TRingBuffer 是一个支持两端增删、下标访问且容量动态增长的环形双端队列。它通过无符号索引的永不归零设计,利用减法自动模运算实现空满判断与元素计数,避免了传统环形缓冲浪费格子的问题。内部以票号(索引)标记首尾,扩容时重排元素为连续存储,保证 O(1) 操作与高缓存效率。虽不线程安全,但其高效性使其成为游戏开发中事件队列、命令缓冲等场景的理想选择。

u013768914的博客 315

Teamcenter Java SOA 开发:连接、查询与保存

本文介绍如何通过 Java 调用 Teamcenter SOA 接口实现外部系统对接,涵盖连接登录、查询保存等核心操作。以最小闭环示例展示 Connection、Service、ModelObject 等关键组件的使用,强调错误处理与事务管理要点。梳理了 DataManagement、Query、File Management 等 API 模块分工,并结合“工作移交WebService”案例,说明幂等性设计与流程状态返回的重要性。适用于 Web 门户、ERP 集成等场景,建议批量操作用 bulk 接口优化性

软件工程师文艺 277
上一篇: Map转换实体类对象
下一篇: 【惊人揭秘】Java并行流魔法:600ms查询秒变260ms,效率飙升120%的极速之旅!
amz_java
博客等级 码龄4年 35粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值