增加索引 + 异步 + 不落地后，从 12h 优化到 15 min

已于 2024-01-08 22:35:54 修改
阅读量1.5k 收藏 48
点赞数 37
CC 4.0 BY-SA版权
分类专栏： 100天精通Java从入门到就业 文章标签： java 高并发 异步 线程池 学习 程序人生
于 2024-01-08 07:58:01 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/guorui_java/article/details/135423211
本文讲述了通过数据库索引、异步多线程和避免图片落地优化从数据库导出400G图片到FTP服务器的过程，将原本耗时12小时的任务缩短至15分钟。讨论了@Async的异步线程池配置和优化策略，包括自定义线程池和业务、代码优化。强调了并行编程和算法在性能提升中的作用。

在这里插入图片描述

目录

大家好，我是哪吒。

在开发中，我们经常会遇到这样的需求，将数据库中的图片导出到本地，再传给别人。

一、一般我会这样做：

  1. 通过接口或者定时任务的形式
  2. 读取Oracle或者MySQL数据库
  3. 通过FileOutputStream将Base64解密后的byte[]存储到本地
  4. 遍历本地文件夹，将图片通过FTP上传到第三方服务器

在这里插入图片描述

现场炸锅了！

实际的数据量非常大，据统计差不多有400G的图片需要导出。

现场人员的反馈是，已经跑了12个小时了，还在继续，不知道啥时候能导完。

停下来呢？之前的白导了，不停呢？不知道要等到啥时候才能导完。

这不行啊，速度太慢了，一个简单的任务，不能被这东西耗死吧？

@Value("${months}"
了解本专栏 订阅专栏 解锁全文
获取双异步返回值时，如何保证主线程不阻塞？
学Java，找哪吒
01-25 1596
CompletableFuture的异步执行通过ForkJoinPool实现，ForkJoinPool在于可以充分利用多核CPU的优势，把一个任务拆分成多个小任务，把多个小任务放到多个CPU上并行执行，当多个小任务执行完毕后，再将其执行结果合并起来。
Java 21 虚拟线程 + 分布式调度深度实战：从原理到落地，大促日志同步效率提升 367%
srlsong的博客
09-02 998
环境参数配置说明服务器规格8C16G（5 台，用于分片执行）每台服务器部署 1 个 XXL-Job 执行器实例数据库（MySQL）主从架构，8C32G订单日志表数据量 100 万条，索引：log_id（主键）、sync_status+sync_date（联合索引）数据仓库接口集群部署（3 台 8C16G）单接口 QPS 上限 5000，响应时间 < 200ms压测工具JMeter 5.6 + Grafana 监控监控指标：任务耗时、CPU 使用率、内存占用、接口调用成功率。
zoie建索引的过程以及多线程建索引的一点想法
eric的学习笔记
05-11 183
zoie的原理在之前转载的文章 中介绍过， 现在介绍一下zoie建索引的过程。 zoie建索引是一个异步消费过程，ZoieSystem使用的是父类AsyDataConsumer的consume（）函数，这个类保持一个类型为List的_batch用来装载将要进行索引的doc。AsyDataConsumer的consume函数，只是负责将doc插入到这个_batch中，并不进行具体的索引工作...
索引过程－index
莱布尼兹
07-15 232
可以说这个过程就是一个"shuffle"的过程，然后进行index操作。   流程：     詳細过程： input ： 这里有几个文件，来分析各文件的作用 crawl-fetch:当获取不到last-midified time时，用来fetch time代替 crawl-parse:no use parse-data:conten-type;date等索引...
ElasticSearch_11_ES的倒排索引和读写流程
毛毛的专栏
10-11 775
ES的倒排索引和读写流程
【MySQL】Innodb存储引擎关键特性之——自适应哈希索引和异步IO
weixin_55415722的博客
12-23 665
自适应哈希索引（AHI） 问题背景 众所周知，Innodb存储引擎索引底层数据结构是B+树，而B+树查找的时间复杂度取决于B+树的高度。而有一种数据结构，它查找的时间复杂度是O（1），那就是——数组。想到数组，进而联想到哈希（hash）查找方法。因此，Innodb存储引擎在B+树索引的基础上，又引入了自适应哈希索引来提高查找效率。 解决方案 Innodb会监控对表上各个索引页的查询，如果观察到建立Hash索引可以带来速度提升，则建立哈希索引，又称为自适应哈希索引（AHI）。 AHI是通过缓冲池中的B+树页构
MySQL之流程控制，索引
weixin_47035302的博客
06-13 668
流程控制，索引，索引的数据结构，索引的分类与区别，联合索引与最左前缀匹配原则，索引下推技术，如何正确使用索引
基于LangChain+LLM的本地知识库问答：从企业单文档问答到批量文档问答
热门推荐
结构之法 算法之道
07-05 13万+
本文则侧重讲解 1 什么是LangChain及langchain的整体组成架构 2 解读langchain-ChatGLM项目的关键源码，不只是把它当做一个工具使用，因为对工具的原理更了解，则对工具的使用更顺畅 3 langchain-ChatGLM项目的升级版langchain-chatchat
大数据 + 分布式架构下 SQL 查询优化：从核心技术到调优体系
kuyxerp的博客
09-17 1113
针对大数据环境下的SQL查询性能优化问题，提出了一套基于索引机制、并行运算和内存计算的综合解决方案。文章首先分析了传统单机数据库在面对TB/PB级数据时的性能瓶颈，然后详细阐述了三种核心优化技术的原理及分布式适配方案：索引设计需匹配分片特性，并行运算要合理控制分片粒度，内存计算需平衡性能与风险。针对分布式数据库架构，文章特别强调了分片键选择、跨节点查询优化等关键点，并构建了"评估-优化-验证"的闭环调优体系。通过某社交平台的实际案例，验证了优化方案的有效性，最终将查询耗时从30秒降至
环形缓冲+异步机制：实现ESP32高吞吐低延迟日志输出的2大关键技术
在高实时性要求的嵌入式系统中，传统的同步日志输出方式极易引发主线程阻塞、中断延迟增加等问题。环形缓冲区凭借其FIFO特性与固定内存占用，为日志暂存提供了高效载体；结合异步任务调度机制，可将日
索引创建过程
july_2的专栏
08-01 629
文档的索引过程是通过 DocumentsWriter 的内部数据处理链完成的， DocumentsWriter 可以实现同时添加多个文档并将它们写入一个临时的 segment 中，完成后再由 IndexWriter 和 SegmentMerger 合并到统一的 segment中去。DocumentsWriter 支持多线程处理，即多个线程同时添加文档，它会为每个请求分配一个 DocumentsW
ES-索引过程和检索过程
wbiblem的博客
05-31 3613
索引过程 创建一个IndexWriter 用来写索引文件，它有几个参数，INDEX_DIR 就是索引文件所存放的位置，Analyzer 便是用来对文档进行词法分析和语言处理的。 创建一个Document 代表我们要索引的文档。 将不同的Field 加入到文档中。我们知道，一篇文档有多种信息，如题目，作者，修改时间，内容等。不同类型的信息用不同的Field 来表示。 IndexWriter 调用函数a
SSM企业物资管理系统h3109(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上，文末可获取，系统界面在最后面
2509_93102542的博客
11-21 760
在技术实现上，国外多采用成熟的开发框架和技术架构，注重系统的安全性、稳定性和可扩展性，同时积极融入大数据、人工智能等新技术，实现物资需求预测、智能库存优化等功能。基于此，开发一套基于SSM框架的企业物资管理系统，整合部门、员工、物资及各类业务流程管理功能，实现物资管理的数字化、规范化和高效化，成为解决企业物资管理痛点的必然需求。本课题旨在开发一套基于SSM框架的企业物资管理系统，围绕部门、员工、物资信息、物资申请、消息提醒、物资归还、物资入库、意见反馈八大核心功能模块，实现企业物资管理的全流程数字化。
Java原生网络编程-BIO与NIO
照母山挖洋芋
11-24 350
摘要：本文对比了Java原生JDK中的BIO(阻塞I/O)和NIO(非阻塞I/O)网络编程模型。BIO采用"一连接一线程"模式，存在线程资源浪费和性能瓶颈问题，可通过线程池优化为伪异步I/O模型。NIO通过Selector、Channel和Buffer三大核心组件实现非阻塞通信，支持单线程管理多个通道。重点介绍了NIO的Reactor模式、事件类型(OP_READ/OP_WRITE等)及服务端/客户端的不同关注点，展示了NIO相比BIO在高并发场景下的优势。（149字）
spring全局懒加载(default-lazy-init)导致的afterPropertiesSet不执行问题
豆豆的博客
11-21 494
Spring配置default-lazy-init="true"会导致所有Bean延迟初始化，影响afterPropertiesSet方法的执行时机。解决方案包括：1)为关键Bean显式设置lazy-init="false"；2)使用@Lazy(false)注解；3)编程式强制初始化；4)使用DependsOn控制顺序。最佳实践建议分层配置策略，核心组件立即初始化，业务组件懒加载，并通过配置文件分离和环境区分优化配置。实际应用中，Web应用的请求处理相关Bean和批处
Java集合框架实战：构建高效的企业管理系统
2402_83075343的博客
11-23 683
本文通过两个企业管理系统案例，详细解析了Java集合框架的核心应用。员工部门管理系统采用HashMap实现部门与员工的高效映射，具备智能添加、快速查询和动态统计功能；商品库存管理系统基于ArrayList实现精细化管控，包含智能录入、库存预警和价格排序等特性。文章对比了HashMap和ArrayList的特性差异，提供了集合选型的最佳实践，并探讨了系统扩展方向。这两个实战案例展示了集合框架在企业应用中的实际价值，为开发者掌握Java集合提供了实用参考。
Spring Boot 中使用 @Transactional 注解配置事务管理
2509_94007314的博客
11-21 1255
下面分别介绍一下的几个属性。
Springboot | Spring Boot 3 纯 JDBC 实现宠物管理系统增删改查（无 ORM 框架）
最新发布
张较瘦
11-24 541
本文介绍了基于Spring Boot 3和纯JDBC实现的宠物管理系统CRUD操作。通过原生JDBC方式，不使用任何ORM框架，帮助开发者深入理解底层数据库操作原理。文章详细说明了环境准备（JDK17+、Spring Boot 3.2.x、MySQL 8.0）、项目依赖配置、数据库连接设置以及表结构创建。核心实现包括：Pet实体类定义（包含id、name、breed和age字段）以及PetService服务层，利用JdbcTemplate封装增删改查操作，重点演示了如何通过PreparedStatement
2025最新 SpringCloud 教程，教程简介，笔记01
Rockandrollman的博客
11-24 31
2025最新 SpringCloud 教程，教程简介，笔记01
根据方案四对上面的sql进行优化
06-05
回顾对话历史发现，我之前给出的核心区别表格里确实有提到优化方向：OLTP强调"预计算索引优化"[^2]，OLAP强调"物化视图/MVCC"[^3]。用户现在说的"方案四"应该就是指这个优化方向分类中的第四条原则。不过用户显然...
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哪 吒

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值