使用查询分离后,从20s优化到500ms,牛哇~

异构数据对比 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

7cce5f0e21d3dab86158ac227c50b6d1.gif

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号、CRM 等等功能:

  • Boot 仓库:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 仓库:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

【国内首批】支持 JDK 21 + SpringBoot 3.2.2、JDK 8 + Spring Boot 2.7.18 双版本 

来源:码猿技术专栏

e0b9d55670e57d41bc817c2b94883cab.jpeg


本文我们来说说使用 查询分离 优化业务主表数据大查询缓慢的问题

什么是查询分离?

查询分离从字面上来说非常容易理解,其实就是在写数据时保存一个备份数据到另外的存储系统,在查询时直接从另外的存储系统中获取数据,如下图:

14a6f3f7416ffe165fcd4b7f68c8d06d.png

查询分离

以上只是简单的架构图,其中有些细节还是需要深究,如下:

  1. 什么时候触发查询分离?

  2. 如何实现查询分离?

  3. 查询数据的存储系统选型?

  4. 查询数据如何使用?

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

查询分离的适用场景?

当你在实际业务中遇到以下情形,则可以考虑使用查询分离解决方案。

  • 数据量大;

  • 所有写数据的请求效率尚可;

  • 查询数据的请求效率很低;

  • 所有的数据任何时候都可能被修改;

  • 业务希望我们优化查询数据的功能。

曾做过 SaaS 客服系统的架构优化,系统里有一个工单查询功能,工单表中存放了几千万条数据,且查询工单表数据时需要关联十几个子表,每个子表的数据也是超亿条。

面对如此庞大的数据量,跟前面的冷热分离一样,每次客户查询数据时几十秒才能返回结果,即便我们使用了索引、SQL 等数据库优化技巧,效果依然不明显。

工单表中有些数据是几年前的,客户说这些数据涉及诉讼问题,需要继续保持更新,因此我们无法将这些旧数据封存到别的地方,也就没法通过前面的冷热分离方案来解决。

最终我们采用了查询分离的解决方案,才得以将这个问题顺利解决:将更新的数据放在一个数据库里,而查询的数据放在另外一个系统里。因为数据的更新都是单表更新,不需要关联也没有外键,所以更新速度立马得到提升,每次客户查询数据时,500ms 内就可得到返回结果。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

什么时候触发查询分离?

简单的来说就是什么时候应该保存一份数据到查询数据库中,其实也就是数据异构的过程。

这里介绍三种方式,如下:

  1. 同步建立

  2. 异步建立

  3. binlog方式

1、 同步建立

修改业务代码:在写入常规数据后,同步建立查询数据。

6c1f99765447780f8166efaf85638e2d.png

该种方案优缺点也非常明显:

优点 :查询数据的一致性和实时性得到了保证

缺点 :业务代码侵入比较强;减缓写操作的效率

2、 异步建立

修改业务代码:写入数据后,异步建立查询数据

41766794c69087ca5905a9496040a250.png

该种方案的优缺点如下:

优点 :不影响主流程

缺点 :数据一致性存在问题

3、 binlog的方式

该种方案也是业界常用的一种方案,对于代码是无侵入的,通过监听数据库日志的方式建立查询数据,如下:

916a5c450bc03c0135842e68d5c27aa9.png

该种方案的优缺点如下:

优点 :不影响主流程;代码侵入为0

缺点 :数据一致性存在问题;架构相对复杂

如何实现查询分离?

这篇文章来介绍一下异步的方式,异步的方式有很多,可以放在内存中进行操作,但是这有些弊端:

  1. 数据过多,内存有限

  2. 服务重启,内存数据将会丢失

因此最终我们可以选择MQ 的方式,那么此时就涉及到了MQ的技术选型,这里给两个建议:

  1. 如果你的公司已经用了MQ,那么直接接着用即可

  2. 如果公司目前未引入MQ,则需要架构组考量选型了,

当然一旦引入了MQ还需要考虑的问题很多,如下:

1、 MQ突然宕机了怎么办?

MQ宕机意味着查询数据不能继续建立了,我们可以在写入数据的同时给该条数据加一个标志字段(已搬运、未搬运),当MQ启动后,查询所有未搬运的数据,继续建立查询数据

“

这里的方案很多,按照业务实际情况考量

”

2、消息的幂等消费

消息的幂等消费一定要保证,避免数据重复建立,比如:主数据的订单 A 更新后,我们在查询数据中插入了 A,可是此时系统出问题了,系统误以为查询数据没更新,又把订单 A 插入更新了一次。

3、消息的时序性问题

比如某个订单 A 更新了 1 次数据变成 A1,线程甲将 A1 的数据搬到查询数据中。不一会儿,后台订单 A 又更新了 1 次数据变成 A2,线程乙也启动工作,将 A2 的数据搬到查询数据中。

所谓的时序性就是如果线程甲启动比乙早,但搬运数据动作比线程乙还晚完成,就有可能出现查询数据最终变成过期的 A1

查询数据的存储系统选型?

既然为了解决表数据量大查询缓慢的问题,肯定是不能选用关系型数据库了,那么还有其他选择吗?

内存数据库虽然性能非常高,比如Redis,但是不适合海量数据,太费钱了

那么这里比较适用的有如下三种:

  1. MongoDB

  2. HBase

  3. Elasticsearch

这里选型还是要根据自己公司业务选择,如果已经有在用的,则直接用即可;另外就是选择自己熟悉的,比如当初我们设计架构方案时,为什么选择用 Elasticsearch,除 ES 对查询的扩展性支持外,最关键的一点是我们团队对 Elasticsearch 很熟悉。

查询数据如何使用?

查询数据很简单,每个数据库都有对应的API,直接调用查询

但是,这里有一个问题:数据查询更新完前,查询数据不一致怎么办? ,给出两种方案:

  1. 在查询数据更新到最新前,不允许用户查询。(我们没用过这种设计,但我确实见过市面上有这样的设计。)

  2. 给用户提示:您目前查询到的数据可能是 1 秒前的数据,如果发现数据不准确,可以尝试刷新一下,这种提示用户一般比较容易接受。

总结

本篇文章介绍了表数据量大查询缓慢的一种解决方案:查询分离,但这也不是银弹,仍然是存在一些不足,比如表数据量大,写入缓慢怎么办?这个后面文章再介绍吧

当然查询分离还有一个重要的问题:历史数据如何迁移?这个处理也是非常简单,但是也有许多需要考虑的点,后文介绍


欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

c99cb8f71317ac4d4cb7357231279435.png

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

a48365a6eaf2322a4b5982e3c887712c.png

0e35503bdfdab5ef818d6031d25c60da.png6fdcb8aa863f85006f543c23652de53d.png367e8464e66304dd06ad97792e65e35f.png999e754c7cea59c5a83a1d9ded548a68.png

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
《算法设计与分析》全套PPT课件(哈尔滨工程大学) 立即下载

相关推荐

数字政府政务服务AI大模型赋能智能体平台及AI场景应用规划方案(决策评审版).pptx

数字政府政务服务AI大模型赋能智能体平台及AI场景应用规划方案(决策评审版).pptx

使用 查询分离 后 从20s优化到500ms

大家好,我是不才陈某~在前面一篇文章中提到过对于业务主表读写缓慢的解决方案:冷热分离,有不了解的请看:业务主表读写缓慢如何优化?冷热分离固然是一个性价比高的解决方案,但也并不是银弹,仍然有诸多限制,比如:查询冷数据慢业务无法修改冷数据冷数据多到一定程度系统依旧扛不住此时如果需要解决以上问题,可以采用另外一种方案:使用 查询分离 优化业务主表数据大查询缓慢的问题什么是查询分离?查询分离从字面上来说非...

码猿技术专栏 714

T18_低空经济示范区十五五通感一体化低空智联网与飞行服务保障体系设计方案_生态合作版.pptx

T18_低空经济示范区十五五通感一体化低空智联网与飞行服务保障体系设计方案_生态合作版.pptx

讨论下处理异构数据时存在的挑战

异构数据包括结构化数据(如数据库中的表格数据)、半结构化数据(如XML、JSON)和非结构化数据(如文本、图像、音频等)。此外,数据的语义差异也是一个重要的挑战,因为不同数据源中的数据可能采用不同的术语和定义,导致数据集成和分析的困难。数据的实时性要求我们能够及时捕捉到数据的变化,并进行实时的处理和分析。通过不断的努力和创新,我们相信可以更好地处理和利用异构数据,为各行各业带来更多的机遇和发展。随着科技的发展和信息时代的到来,我们的生活中产生了越来越多种类和格式的数据。

xiehewe的博客 469

多目标粒子群算法求解综合能源系统最优容量配置研究(Matlab代码实现)

内容概要:本文研究了基于多目标粒子群算法(MOPSO)求解综合能源系统(IES)中最优容量配置的方法,并提供了完整的Matlab代码实现。研究旨在通过优化风电机组、光伏机组、燃气轮机、储能系统等多种能源设备的容量配置,实现系统在经济性、环保性和能源利用率等方面的多目标平衡。文中构建了综合能源系统容量配置的数学模型,明确了以最低综合成本、最小碳排放为核心的目标函数,以及能量供需平衡、设备出力能力等关键约束条件,并详细阐述了MOPSO算法的实现流程,包括种群初始化、非支配排序、拥挤距离计算和外部存档更新等核心机制。最后,通过Matlab平台的仿真实验验证了该方法的有效性,结果表明该算法能够生成分布均匀且具有良好多样性的Pareto最优解集,为决策者根据不同侧重点选择最终方案提供了科学依据。; 适合人群:具备一定电力系统、优化算法和Matlab编程基础的研究生、科研人员及工程技术人员。; 使用场景及目标:① 学习和掌握综合能源系统容量配置问题的建模方法;② 深入理解多目标粒子群算法(MOPSO)的核心原理及其在实际工程优化问题中的应用;③ 获取可直接运行和修改的Matlab代码,用于复现研究成果或进行二次开发。; 阅读建议:建议读者在阅读时,首先理解综合能源系统的背景和优化问题的数学建模过程,然后结合提供的Matlab代码,逐步跟踪算法的执行流程,重点关注目标函数和约束条件的代码实现,以及MOPSO算法中非支配排序和拥挤距离计算等核心模块。为了更好地掌握,可以尝试调整算例参数、增减优化目标或修改算法参数,观察结果的变化。

华为L420X/L540X信创笔记本从麒麟系统安装Windows ARM版实操指南

在计算机系统生态中,指令集架构决定了软件运行的基础,其中ARM作为精简指令集(RISC)的代表,与x86的复杂指令集(CISC)存在根本差异,因此操作系统与驱动的兼容性成为软硬件协同的关键。ARM架构处理器凭借低功耗与高能效比,在移动计算和桌面领域持续扩展,微软也为此提供了专用的Windows ARM版本。对于信创笔记本用户而言,当专业软件、考试环境或内部工具仅支持Windows平台时,在ARM设备上完成系统切换便具有明确的工程实践价值。本文以华为L420X/L540X搭载麒麟9000C芯片的信创笔记本为实

weixin_30444111的博客 612

HarmonyOS Next异构计算能力提升应用性能

在HarmonyOS Next的计算世界里,异构计算就像是一个交响乐团,不同的硬件资源(如CPU、NPU等)如同乐团中的不同乐器,各自发挥着独特的优势,协同工作以提升整体的计算效率。异构计算的核心原理是根据不同计算任务的特点,将其分配到最适合的硬件资源上进行处理。例如,CPU作为通用处理器,擅长处理逻辑控制和复杂的计算任务,但在处理大规模并行计算时效率相对较低。而NPU(神经网络处理器)则专门为神经网络计算进行了优化,能够以极高的效率处理深度学习模型中的矩阵运算等高度并行化的任务。

same4869的博客 895

Cadence Allegro实战:如何精准导入结构DXF文件避免安装偏差(附图层配置技巧)

本文详细讲解了在Cadence Allegro中精准导入结构DXF文件以避免安装偏差的实战技巧。核心在于导入前的单位校准、创建专用图层结构,以及基于坐标基准点的精确对齐方法。文章还分享了将DXF图形转化为正式板框和禁布区、高效管理图层以及向结构工程师导出DXF的完整流程,帮助PCB工程师确保设计与机械结构完美契合。

1a2s3d4f5g的博客 510

Metrics(Powerful Toolkit For Measure)

Metrics提供了强大的数据收集方式,并且在Metrics内部集成了CSV、JMX、Log、Console四大Reporter,Reporter是一个非常容易扩展的接口,使用者可以通过自定义Reporter形式将Metrics收集到的数据展示(存储)在任何地方。CsvReporter与logger reporter比较类似,因为CSV文件不同于日志可以通过配置的方式处理,需要在创建CsvReporter时,显式指定一个存在的目录,以存放Reporter输出的CSV文件,如果该目录不存在则会出现错误。

seacean2000的专栏 464

PCB设计必看:铜皮厚度与载流能力对照表(附Excel计算工具)

本文深入解析了PCB设计中铜皮厚度与载流能力的核心关系,提供了基于IPC-2152标准的动态计算逻辑与实用Excel工具。文章不仅分享了载流对照表,更重点剖析了影响载流能力的关键因素(如铜厚、线宽、温升、布线层),并给出了高电流设计的实战技巧与测试验证方法,帮助工程师规避常见陷阱,实现从理论到实践的闭环设计。

weixin_29228781的博客 728

【STK】手把手教你利用STK进行导弹和反导仿真04 - STK/MMT模块04 导弹飞行工具应用案例

(6)打开STK,导出的范围轮廓以我们定义的Iran区域目标不同的颜色显示,并将以对象浏览器中定义为区域目标。最后将生成的轨迹导出到STK进行显示和分析。(12)在场景中新创建两个Target,将它们命名为Target1和Target2,并将他们放置在发射的Launch的射程范围之内。(2)在STK中插入AreaTarget对象,在“插入STK对象”工具中,选择“区域目标”对象类型和“选择国家/地区”当前在“飞行列表”窗口中选择的飞行路径将显示较大的启动和目标图图标,并带有较粗的带注释的连接线。

weixin_44184852的博客 1704

一款美观、开源的管理仪表板,太实用了

来源:github.com/zuramai/mazer???? 欢迎加入小哈的星球,你将获得:专属的项目实战 / Java 学习路线 /一对一提问 / 学习打卡 / 每月赠书新项目:仿小红书(微服务架构)正在更新中... , 全栈前后端分离博客项目 2.0 版本完结啦,演示链接:http://116.62.199.48/。全程手摸手,后端 + 前端全栈开发,从 0 到 1 讲解每个功能点开发...

犬小哈 243

Python APP反爬实战:Frida+Charles抓包,破解签名校验

Charles抓包定位参数 → jadx-gui反编译找函数 → Frida Hook拿密钥/规则 → Python还原签名算法;Frida的核心价值:Hook住APP的加密函数,拿到“输入(密钥/参数)+输出(签名)”,无需懂复杂的逆向底层;严格对齐APP的参数排序、拼接规则、加密算法,差一点都会验证失败。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1540

导致数据库慢查询的12个常见原因,以及对应的解决方法。

一文告诉你如何优化慢sql

lqs_user的博客 5701

高级电机控制场景实例:基于Simulink的永磁同步电机基于Luenberger观测器的弱磁控制仿真

本文基于Simulink实现表贴式永磁同步电机(SPMSM)的Luenberger观测器弱磁控制仿真,通过构建“观测-弱磁-控制”协同逻辑,突破传统矢量控制的基速限制。利用线性化模型设计观测器实时估计电流与磁链,结合电压极限约束动态注入负d轴电流,实现转速扩展至12000rpm(4倍基速),弱磁区电流THD低于3%,动态响应时间小于5ms,验证了高速运行下系统稳定性与鲁棒性。附完整建模步骤、MATLAB函数代码及性能分析,适用于电动汽车、机床等高速驱动场景,为高级电机控制提供可复现的技术范式。

amy_mhd的博客 33

使用YubiKey进行全盘加密、加密启动分区以及利用UEFI安全启动的详细指南

在本教程中,我们将使用YubiKey来增强电脑的安全性,通过加密整个硬盘,确保只有持有正确YubiKey的人才能访问。UEFI安全启动是一种在UEFI固件级别实施的安全标准,确保计算机仅启动签名的启动加载程序。为了符合您的要求,我将以此方式分配内容,确保每部分都有详尽的说明和代码。现在,您已经成功地使用YubiKey设置了全盘加密,并使用UEFI安全启动为系统增加了额外的安全层。注意:为了简洁和清晰,本文中的代码可能不是最优的或最完整的实现。注意:为了简洁和清晰,本文中的代码可能不是最优的或最完整的实现。

qq_38334677的博客 1006

SQL查询速度慢的原因分析及解决方案【案例分享】

本篇简单小结一下项目中遇到的SQL慢查询的问题,以及解决方案,欢迎打卡,阅读,学习交流!

末尾卡片和博主交流学习! 8222

RK3568平台(设备树篇)设备树DTS文件解析

RK3568官方包里的设备树很多,一个dts可理解为是一个板件对应的设备树,官方针对不同的ddr以及显示、摄像头等需求,提供了不同的dts,可供后续开发参考。上述设备树文件看着非常多,但其实每个板件设备树其实对应的是一个dts,再加上dts包含的dtsi。

weixin_49303682的博客 1134

大规模异构数据并行处理系统的设计、实现与实践

点击上方蓝字关注我们大规模异构数据并行处理系统的设计、实现与实践夏正勋,罗圣美,孙元浩,唐剑飞,张燕星环信息科技(上海)有限公司,上海 200233论文引用格式:夏正勋,罗圣美...

weixin_45585364的博客 1862

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

制造业生产过程中多源异构数据处理方法综述

点击上方蓝字关注我们制造业生产过程中多源异构数据处理方法综述陈世超1,2,崔春雨1,张华3,马戈4,朱凤华1,商秀芹1,熊刚,11中国科学院自动化研究所复杂系统管理与控制国...

weixin_45585364的博客 1万+

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

什么是异构数据?

异构数据顾名思义就是不同结构的数据,异构数据体现在五个层次上: 1.计算机体系结构的异构;数据的物理存储来源于不同体系结构的计算机中,如:大型机、小型机、工作站、PC或嵌入式系统中。 2.操作系统的异构;数据的存储来源于不同的操作系统,如:Unix、Windows、Linux、OS/400等。 3.数据格式的异构;数据的存储管理机制不同,可以是关系型数据库系统,如:Oracle、SQL Serve...

3万+

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

20年架构师带你彻底搞懂查询分离的实现思路

如图2-2所示,查询分离的实现思路如下。1)如何触发查询分离?2)如何实现查询分离?3)查询数据如何存储?4)查询数据如何使用?5)历史数据如何迁移?• 图2-2 查询分离需要考虑的问题下面针对以上5个问题的解决方案进行展开。

2401_83384536的博客 1115

MySQL-解决大量数据下慢查询问题

本文由 简悦 SimpRead 转码, 原文地址 mp.weixin.qq.com https://www.cnblogs.com/youyoui/p/7851007.html 准备工作 一般分页查询 使用子查询优化 使用 id 限定优化 使用临时表优化 关于数据表的 id 说明 当需要从数据库查询的表有上万条记录的时候,一次性查询所有结果会变得很慢,特别是随着数据量的增加特别明显,这时需要使用分页查询。 对于数据库分页查询,也有很多种方法和优化的点。下面简单说一下我知道的.

嘻哈熊的专栏 7515

记一次百亿级es数据性能优化-未完成

先说结论和todo 结论: todo:1.SSD没发挥性能问题问题继续测试 2.数据分片数量&大小对性能影响 3.行业对比,es最快就只能达到1亿1s的性能吗? 正好赶上一个规模比较大的项目,2000多台机器,所有组件及任务日志全部都要采集,我们采用的方案是Elasticsearch+logstash+filebeat的方案。 在项目上线一个月左右,出现了数据查询报错的问题,报错读超时...

Show something 2075
上一篇: 2024年活多的公司排名
下一篇: 8个你应该掌握的实用 Java Streams API
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值