MySQL 数据库优化,看这篇就够了 | 不长不短,2000 字小结

比较数据迁移后MySQL数据库和openGauss数据仓库中的表 设计一个MySQL数据库和openGauss数据仓库的表数据比较的详细程序流程,两张表是相同的结构,都有整型主键id字段,需要每次从数据库分批取得2000条数据,用于比较,比较操作的同时可以再取2000条数据,等上一次比较完成之后,开始比较,直到比较完所有的数据。 阅读详情

点击上方“芋道源码”,选择“设为星标”

做积极的人,而不是积极废人!

源码精品专栏

 

来源:http://rrd.me/ehdKG

  • 前言

  • 1. 优化一览图

  • 2. 优化

    • 2.1 软优化

    • 2.2 硬优化

  • 结语


前言

数据库优化一方面是找出系统的瓶颈,提高MySQL数据库的整体性能,而另一方面需要合理的结构设计和参数调整,以提高用户的相应速度,同时还要尽可能的节约系统资源,以便让系统提供更大的负荷.

1. 优化一览图

clipboard.png

2. 优化

笔者将优化分为了两大类,软优化和硬优化,软优化一般是操作数据库即可,而硬优化则是操作服务器硬件及参数设置.

2.1 软优化

2.1.1 查询语句优化

1.首先我们可以用EXPLAIN或DESCRIBE(简写:DESC)命令分析一条查询语句的执行信息.
2.例:

DESC SELECT * FROM `user`

显示:

clipboard.png

其中会显示索引和查询数据读取数据条数等信息.

2.1.2 优化子查询

在MySQL中,尽量使用JOIN来代替子查询.因为子查询需要嵌套查询,嵌套查询时会建立一张临时表,临时表的建立和删除都会有较大的系统开销,而连接查询不会创建临时表,因此效率比嵌套子查询高.

2.1.3 使用索引

索引是提高数据库查询速度最重要的方法之一,关于索引可以参高笔者一文,介绍比较详细,此处记录使用索引的三大注意事项:

  1. LIKE关键字匹配'%'开头的字符串,不会使用索引.

  2. OR关键字的两个字段必须都是用了索引,该查询才会使用索引.

  3. 使用多列索引必须满足最左匹配.

2.1.4 分解表

对于字段较多的表,如果某些字段使用频率较低,此时应当,将其分离出来从而形成新的表,

2.1.5 中间表

对于将大量连接查询的表可以创建中间表,从而减少在查询时造成的连接耗时.

2.1.6 增加冗余字段

类似于创建中间表,增加冗余也是为了减少连接查询.

2.1.7 分析表,,检查表,优化表

分析表主要是分析表中关键字的分布,检查表主要是检查表中是否存在错误,优化表主要是消除删除或更新造成的表空间浪费.

1. 分析表: 使用 ANALYZE 关键字,如ANALYZE TABLE user;
clipboard.png
  1. Op:表示执行的操作.

  2. Msg_type:信息类型,有status,info,note,warning,error.

  3. Msg_text:显示信息.

2. 检查表: 使用 CHECK关键字,如CHECK TABLE user [option]

option 只对MyISAM有效,共五个参数值:

  1. QUICK:不扫描行,不检查错误的连接.

  2. FAST:只检查没有正确关闭的表.

  3. CHANGED:只检查上次检查后被更改的表和没被正确关闭的表.

  4. MEDIUM:扫描行,以验证被删除的连接是有效的,也可以计算各行关键字校验和.

  5. EXTENDED:最全面的的检查,对每行关键字全面查找.

3. 优化表:使用OPTIMIZE关键字,如OPTIMIZE [LOCAL|NO_WRITE_TO_BINLOG] TABLE user;

LOCAL|NO_WRITE_TO_BINLOG都是表示不写入日志.,优化表只对VARCHAR,BLOB和TEXT有效,通过OPTIMIZE TABLE语句可以消除文件碎片,在执行过程中会加上只读锁.

2.2 硬优化

2.2.1 硬件三件套

1.配置多核心和频率高的cpu,多核心可以执行多个线程.
2.配置大内存,提高内存,即可提高缓存区容量,因此能减少磁盘I/O时间,从而提高响应速度.
3.配置高速磁盘或合理分布磁盘:高速磁盘提高I/O,分布磁盘能提高并行操作的能力.

2.2.2 优化数据库参数

优化数据库参数可以提高资源利用率,从而提高MySQL服务器性能.MySQL服务的配置参数都在my.cnf或my.ini,下面列出性能影响较大的几个参数.

  • key_buffer_size:索引缓冲区大小

  • table_cache:能同时打开表的个数

  • query_cache_size和query_cache_type:前者是查询缓冲区大小,后者是前面参数的开关,0表示不使用缓冲区,1表示使用缓冲区,但可以在查询中使用SQL_NO_CACHE表示不要使用缓冲区,2表示在查询中明确指出使用缓冲区才用缓冲区,即SQL_CACHE.

  • sort_buffer_size:排序缓冲区

传送门:更多参数

2.2.3 分库分表

因为数据库压力过大,首先一个问题就是高峰期系统性能可能会降低,因为数据库负载过高对性能会有影响。另外一个,压力过大把你的数据库给搞挂了怎么办?所以此时你必须得对系统做分库分表 + 读写分离,也就是把一个库拆分为多个库,部署在多个数据库服务上,这时作为主库承载写入请求。然后每个主库都挂载至少一个从库,由从库来承载读请求。

clipboard.png

2.2.4 缓存集群

如果用户量越来越大,此时你可以不停的加机器,比如说系统层面不停加机器,就可以承载更高的并发请求。然后数据库层面如果写入并发越来越高,就扩容加数据库服务器,通过分库分表是可以支持扩容机器的,如果数据库层面的读并发越来越高,就扩容加更多的从库。但是这里有一个很大的问题:数据库其实本身不是用来承载高并发请求的,所以通常来说,数据库单机每秒承载的并发就在几千的数量级,而且数据库使用的机器都是比较高配置,比较昂贵的机器,成本很高。如果你就是简单的不停的加机器,其实是不对的。所以在高并发架构里通常都有缓存这个环节,缓存系统的设计就是为了承载高并发而生。所以单机承载的并发量都在每秒几万,甚至每秒数十万,对高并发的承载能力比数据库系统要高出一到两个数量级。所以你完全可以根据系统的业务特性,对那种写少读多的请求,引入缓存集群。具体来说,就是在写数据库的时候同时写一份数据到缓存集群里,然后用缓存集群来承载大部分的读请求。这样的话,通过缓存集群,就可以用更少的机器资源承载更高的并发。

clipboard.png

结语

一个完整而复杂的高并发系统架构中,一定会包含:各种复杂的自研基础架构系统。各种精妙的架构设计.因此一篇小文顶多具有抛砖引玉的效果,但是数据库优化的思想差不多就这些了.



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:


如果你喜欢这篇文章,喜欢,转发。

生活很美好,明天见(。・ω・。)ノ♡

比较数据迁移后MySQL数据库和ClickHouse数据仓库中的表 设计一个MySQL数据库和Clickhouse数据仓库的表数据比较的详细程序流程,两张表是相同的结构,都有整型主键id字段,需要每次从数据库分批取得2000条数据,用于比较,比较操作的同时可以再取2000条数据,等上一次比较完成之后,开始比较,直到比较玩所有的数据。 阅读详情

相关推荐

比较数据迁移后MySQL数据库和OceanBase数据仓库中的表

设计一个MySQL数据库和OceanBase数据仓库的表数据比较的详细程序流程,两张表是相同的结构,都有整型主键id字段,需要每次从数据库分批取得2000条数据,用于比较,比较操作的同时可以再取2000条数据,等上一次比较完成之后,开始比较,直到比较完所有的数据。:实际部署时需根据具体硬件配置调整连接池大小和批次规模,建议在测试环境进行参数校准。

weixin_30777913的博客 1308

sql:mysql:数据库优化

前言 数据库优化一方面是找出系统的瓶颈,提高MySQL数据库的整体性能,而另一方面需要合理的结构设计和参数调整,以提高用户的相应速度,同时还要尽可能的节约系统资源,以便让系统提供更大的负荷. 1. 优化一览图 2. 优化 笔者将优化分为了两大类,软优化和硬优化,软优化一般是操作数据库即可,而硬优化则是操作服务器硬件及参数设置. 2.1 软优化 2.1.1 查询语句优化 1.首先我...

不花的花和尚的博客 1095

HC32F460 FPU实战:从零开启硬件浮点加速

本文详细介绍了如何在HC32F460开发板上启用和优化FPU(浮点运算单元),以显著提升硬件浮点运算性能。从工程配置、关键代码修改到实战优化技巧,全面解析FPU加速的实现方法,并分享常见问题的解决方案,帮助开发者避免常见陷阱,充分发挥HC32F460的硬件潜力。

weixin_42620340的博客 351

9. MySql高级之SQL优化

文章目录MySql高级之SQL优化1. 大批量插入数据1.1 主键顺序插入插入ID顺序排列数据插入ID无序排列数据1.2 关闭唯一性校验1.3 手动提交事务2. 优化insert语句3. 优化order by语句3.1 环境准备3.2 两种排序方式3.3 Filesort 的优化4. 优化group by 语句5. 优化嵌套查询6. 优化OR条件7. 优化分页查询7.1 优化思路一7.2 优化思路二8. 使用SQL提示8.1 USE INDEX8.2 IGNORE INDEX8.3 FORCE INDEX

weixin_45267102的博客 347

Simulink模型转FMU全攻略:从环境配置到问题排查

在复杂系统仿真中,功能样机单元FMU作为FMI标准的核心载体,将动态系统模型封装为独立、可复用的跨平台组件,无需依赖原始建模环境即可被其他工具调用。其原理是通过标准化接口描述与可执行代码,实现模型交换与联合仿真,极大提升了模型复用性和跨团队协作效率。在汽车、航空航天等领域,FMU广泛应用于控制器算法验证、多物理场联合仿真等场景。然而,从Simulink等工具导出FMU涉及环境配置、模型规范化、类型选择等关键步骤,稍有疏忽便会导致编译失败或仿真结果不一致。本文立足工程实践,系统梳理Simulink模型转FMU

weixin_29179311的博客 273

Kaggle | 总奖池超200万美金的数学竞赛AIMO2冠军方案

••••结论1:通过结合高质量大规模数据集、工具集成推理和生成式选择方法,可以构建在挑战性数学问题上达到最先进水平的语言模型。本文的方法在 AIMO-2 竞赛中的胜利以及在多个数学基准上的 SOTA 结果验证了这一策略的有效性。结论2:发布 OpenMathReasoning 数据集、OpenMath-Nemotron 模型和代码是社区的宝贵财富。

hxshine的博客 1198

mysql检查表、分析表、优化表

对数据库的管理常规就是进行预防性的维护,以及修复那些出现问题的内容。进行检查和修复通常具有1. 对表进行优化2. 对表进行分析(分析并存储MyISAM和BDB表中键的分布)3. 对表进行检查(检查表的错误,并且为MyISAM更新键的统计内容)4. 对表进行修复(修复被破坏的MyISAM表)

睡不醒的每天 1027

逆向解析M团外卖mtgsig与waimai_sign加密参数实战指南⊙ω⊙

本文详细解析了M团外卖App中mtgsig与waimai_sign两个核心加密参数的逆向分析与生成方法。通过抓包定位、静态逆向与Frida动态调试,拆解了waimai_sign的RSA签名逻辑与mtgsig的复杂参数组装加密流程,并提供了Python模拟实现的框架与调试心得,为安全研究及合规数据分析提供实战指南。

weixin_29327525的博客 1285

MySQL中的分析表、检查表与优化表如何操作?

MySQL提供了分析表、检查表和优化表的语句。分析表主要是分析关键字的分布,检查表主要是检查表是否存在错误,优化表主要是消除删除或者更新造成的空间浪费。 # 【1】分析表 MySQL中提供了 ANALYZE TABLE 语句分析表,analyze table 语句的基本语法如下: ```sql analyze [local | no_write_to_binlog] table table_name[,tbl_name].... ``` 默认的,MySQL服务会将analyze table语句写到bi

小小默:进无止境 6444

泛微OA与金蝶云星空深度集成实战:审批与表单双场景解析

本文深入解析泛微OA与金蝶云星空的深度集成实战,聚焦审批流程与表单对接两大核心场景。通过具体案例,详细阐述了如何实现业务数据与审批流程的自动联动,打破数据孤岛,提升企业运营效率与数据一致性,并分享了接口设计、安全策略及实战避坑指南。

4k5l6j7h8的博客 469

把 OData V4 服务真正发布出去:事务码 /IWFND/V4_ADMIN 在 SAP S/4HANA On-Premise 里的定位与用法

本文介绍了SAP S/4HANA中的事务码/IWFND/V4_ADMIN,这是SAP Gateway管理OData V4服务的关键工具。该事务码主要负责将后端注册的OData V4服务以服务组形式发布到前端,并维护系统别名路由、测试入口和日志跳转。与OData V2不同,V4采用服务组概念以支持跨服务导航,类似商场统一管理多个专柜。文章还通过实际案例说明,未发布服务组会导致BAS等工具无法发现OData V4服务,并提供了验证服务组状态的访问路径和ABAP示例代码。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 211

mysql 产生临时表的几种情况

1、UNION查询; 2、用到TEMPTABLE算法或者是UNION查询中的视图; 3、ORDER BY和GROUP BY的子句不一样时; 4、表连接中,ORDER BY的列不是驱动表中的; 5、DISTINCT查询并且加上ORDER BY时; 6、SQL中用到SQL_SMALL_RESULT选项时; 7、FROM中的子查询; 8、子查询或者semi-join时创建的表 semi-join: 所谓...

weixin_43726822的博客 4750

SSD |(二)SSD主控

控制器作为一个片上系统,处理来自用户端的命令并负责管理闪存颗粒。

知识库搭建ing 1966

table 条数过大优化_MySQL 数据库优化,看这篇就够了 | 不长不短,2000 字小结

前言数据库优化一方面是找出系统的瓶颈,提高MySQL数据库的整体性能,而另一方面需要合理的结构设计和参数调整,以提高用户的相应速度,同时还要尽可能的节约系统资源,以便让系统提供更大的负荷.1. 优化一览图clipboard.png2. 优化笔者将优化分为了两大类,软优化和硬优化,软优化一般是操作数据库即可,而硬优化则是操作服务器硬件及参数设置.2.1 软优化2.1.1 查询语句优化1.首先我们可以...

weixin_39732534的博客 144

YOLOv13改进策略【多YAML融合】| HWD + DSC3k2_PConv + Detect_MBConv

本文记录的是利用HWD + DSC3k2_PConv + Detect_MBConv改进YOLOv13,分别涉及骨干、颈部和检测头部分的改进。一方面按照此配置,其工作量及创新程度能够满足论文发表的需求,另一方面是一些难以融合多个YAML的举例,以帮助大家理解如何将多个YAML整合到一个YAML中。小波下采样:一个简单但有效的语义分割下采样模块。块由两个主要块组成:无损特征编码块和特征表示学习块。HWD模块与其他下采样模块对比:保留信息能力:传统的下采样方法(如最大池化、平均池化和步幅卷积等)会导致信息丢失,

Limiiiing的博客 499

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

MySQL 数据库的优化

MySQL的优化

qq_57093716的博客 2570

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

mysql总结2000字_MySQL varchar(2000)vs文字?

我平均需要存储一段文本,在数据库中大约需要800个字符。在极少数情况下,它最多可以包含2000-2500个字符。我已经阅读了手册,我知道已经有很多这样的问题,但是我已经阅读了10多个关于stackoverflow的问题,但是仍然很难弄清楚我应该只使用文本还是使用varchar( 2000)。似乎有一半人说使用varchar,而另一半人说使用text。有人说,如果您的字符数超过255个,则始终使用文...

weixin_42366200的博客 1743

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

DB Query Analyzer 中断SQL语句的执行

DB Query Analyzer 中断SQL语句的执行                                                马根峰                     ( 广东联合电子收费股份有限公司, 广州 510300) 摘要:     万能数据库查询分析器有两个版本:DB 查询分析器(中文版本)和 DB Query Analyzer(英文版本)。它不仅能

《万能数据库查询分析器》创作人 2656

【MySQL基础篇】一、数据库基础知识

​存储数据用文件就可以了,为什么还要弄个数据库❓❓❓文件的安全性问题文件不利于数据查询和管理文件不利于存储海量数据文件在程序中控制不方便​ 什么意思呢,比如说我们如果用普通文件作为数据库的话,那么就会有访问控制、数据加密、完整性保护、备份和恢复、病毒和恶意软件等安全性问题的存在;或者说此时有一大批数据,比如说有几万条IP地址,那么如果我们想筛选出以192开头的IP地址,对于普通文件来说我们就得用编程语言去读取文件,然后再依次判断每个IP地址是否符合要求,这显然是有点挫!

lirendada的博客 1968

MySQL这一章就够了(一)

MySql笔记 MySQL是关系型数据库,基于SQL查询的开源跨平台数据库管理系统。它最初是由瑞典MySQL AB公司开发的。现在它是Oracle Corporation的分支机构。 Mysql特点: 开源、兼容多个平台、扩展性强 数据库三大范式: 为避免数据冗余、操作异常和性能问题,需进行数据规范化。 数据库的三大范式: 第一范式:确保每列都是不可再分的最小数据单元 第二范式:确保每列都与主键相关 第三范式:确保表中各列必须和主键相关,不存在依赖关系。 一、SQL简述 1、SQL的概述 Struct

Dusttang的博客 6535

zhihu-spider数据库设计与SQL初始化:构建你的知乎数据仓库

想要构建一个强大的知乎数据仓库吗?zhihu-spider项目为你提供了完整的数据库设计和SQL初始化方案!这个开源爬虫工具不仅能抓取知乎的热门问题和话题数据,更重要的是它设计了一套高效的数据存储结构,让你可以轻松管理和分析海量知乎内容。 ## 📊 数据库架构设计:两大核心表结构 zhihu-spider的数据仓库采用简洁而高效的设计,主要包含两个核心表:问题表(QUESTION)和话题表(

gitblog_01130的博客 843

mysql:MySQL数据库性能优化全景指南

fill:#333;color:#333;color:#333;fill:none;是否是否是否是否性能问题响应慢?CPU高?网络/应用层问题检查慢查询+索引检查IO等待索引合理?优化SQL添加/调整索引磁盘IO高?增加缓冲池检查锁竞争全链路优化思维:从架构到SQL的完整视角量化分析能力:基于数据的科学决策自动化工具链:智能监控与优化建议云原生技术栈:适应新型数据库架构最终建议建立"预防-监控-优化"的完整闭环,这正是阿里/字节数据库团队保持高性能的秘诀。

weixin_43290370的博客 983

从运维角度浅谈MySQL数据库优化

一个成熟的数据库架构并不是一开始就具备高可用,高伸缩等性能的,它是随着用户量的增加,基础架构才逐渐完善。这篇博文主要谈MySQL数据库发展周期中所面临的问题及优化方案,暂且抛开前端应用不说,大致分为以下五个阶段:数据库表设计项目立项后,开发部根据产品部需求开发项目,开发工程师工作其中一部分就是对表结构设计。对于数据库来说,这点很重要,如果设计不当,会直接影响访问速度和用户体验。影响的因素很多,比如慢

马丁路德彬 2483

为什么MySQL单表不要超过2000万行数据?

本文深入分析了MySQL单表数据量不超过2000万行的行业共识。其理论源于B+树三层索引结构约2457万行的容量限制,但更关键的是高并发下的结构修改操作(SMO)性能瓶颈。测试显示,传统MySQL在高并发写入时扩展性受限。尽管现代硬件缓解了索引深度问题,2000万仍作为合理参考值,需结合业务场景考量。文章提出了分库分表、冷热分离等优化策略,并指出新一代分布式数据库是突破限制的方向。这一数字背后的原理比机械遵守更重要,开发者应理解底层机制,根据业务需求设计合适的存储方案。

m0_66884848的博客 1200
上一篇: 关于 CPU 的一些基本知识总结
下一篇: 一个高频面试题:怎么保证缓存与数据库的双写一致性?
公众号-芋道源码
博客等级 码龄10年 1638粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值