MySQL百万级数据量查询优化

最新推荐文章于 2025-05-29 08:45:00 发布
原创 最新推荐文章于 2025-05-29 08:45:00 发布 · 4.1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mysql #索引 #优化

本文介绍了数据库查询优化的基本原则，包括减少使用通配符查询、避免联表查询，并详细讲解了如何利用索引来提高查询效率。此外，还介绍了MySQL查询分析器的使用方法，帮助开发者更好地理解查询计划。

先说下背景,之前写代码基本不用考虑数据库优化,当然,一些基本的mysql优化专业素养还是有的,直到公司业务流水太大,做数据统计的时候请求超时-_-

我才意识到,作为一名优秀的程序媛,数据优化是必不可少,能用上就千万别偷懒..

对查询进行优化，要尽量避免全表扫描

1. 基础优化,入门优化

> a.少用*


 把select *改成具体要筛选的字段,哪怕是全部字段
 把count(*)改成count(id)等对主键或索引的统计


> b.少用联表查询


 数据量不大的表联查不太明显,蛋当表里数据达到十万百万,那么你联表查询的数据量很有可能达到千万级数据量

2. 常用优化技能

建立索引

说到索引要先熟悉两个mysql查询分析器

explain sql语句
desc sql语句

其次我们熟悉查询分析结果中的type： 表示表的连接类型，性能由好到差的连接类型为下面顺序

system： 表中只有一行，即常量表,是const联接类型的一个特例
const： 单表中最多有一个匹配行，如primary key或unique index
eq_ref： 对于前面的每一行，在此表中只查询一条记录，也就是多表连接中使用primary key或unique index
ref： 与eq_ref类似，区别在于不是使用primary key或unique index，而是使用普通索引
ref_or_null： 与ref类型，区别在于条件中包含对null的查询
index_merge： 索引合并优化
unique_subquery： in的后面是一个查询主键字段的子查询
index_subquery： 与unique_subquery类似，区别在于in的后面是查询非唯一索引字段的子查询  www.2cto.com  
range： 单表中的范围查询
index： 对于前面的每一行，都通过查询索引来得到数据
all： 对于前面的每一行，都通过扫描全表来得到数据

那么在什么情况下我们需要加索引呢?

3. 深入优化
比较偏门,易漏的优化方式
将from_

(未完)

MySQL百万数据优化总结 一
m0_67265464的博客
07-28 1662
为什么使用unionall因为union操作会对结果去重且排序，所以从速度来说，unionall会更胜一筹。
MySQL百万数据量的查询优化&&数据库事务（待更新）
Sao_E的博客
01-13 385
MySQL百万数据量的查询优化&&数据库事务（待更新）
Mysql百万级以上查询优化总结
09-29
Mysql百万级以上查询优化总结，，对mysql表优化、索引优化
MySQL：百万级数据查询优化
最新发布
毒果的博客
05-29 1940
在大数据时代，企业业务系统产生的数据量呈指数级增长，当 MySQL 数据库中的数据规模达到百万级时，传统的查询方式往往会导致性能瓶颈，出现查询缓慢、系统响应延迟等问题，严重影响业务正常运行。复杂的查询语句，如多表关联查询、子查询等，在处理百万级数据时，会产生大量的中间结果集，占用过多的内存和磁盘 I/O 资源。例如，在电商系统中，统计某类商品的销售情况，需要关联订单表、订单详情表和商品表进行查询，若查询语句未优化，可能会耗尽服务器内存，导致数据库响应缓慢，甚至服务崩溃。
MySQL百万级数据量分页查询方法及其优化建议
12-14
数据库SQL优化是老生常谈的问题，在面对百万级数据量的分页查询，又有什么好的优化建议呢？下面将列举了一些常用的方法，供大家参考学习！ 方法1: 直接使用数据库提供的SQL语句 语句样式: MySQL中,可用如下方法: ...
MySQL百万级数据分页查询优化方案
09-09
在MySQL中，分页查询是处理大量数据时不可或缺的手段，但随着数据量的增加，传统的`LIMIT`分页方式可能会导致性能问题。当面对百万级数据时，我们需要对分页查询进行优化，以避免对服务器造成过大的压力。本文将详细...
30个mysql千万级大数据SQL查询优化技巧详解
12-16
以下是一些关键的优化技巧，可以帮助你提升查询性能，避免全表扫描，充分利用索引，以及优化查询逻辑： 1. **建立索引**：在`WHERE`和`ORDER BY`涉及的列上创建索引，可以大大提高查询速度。避免全表扫描是优化的...
MySQL百万级别数据查询优化（转载）
qq_29800373的博客
03-31 1227
可以看到 SELECT INTO 会锁住系统表，Create table 也会锁系统表(不管是临时表还是系统表)。所以千万不要在事物内使用它！这样的话如果是经常要用的临时表请使用实表，或者临时表变量。--commit 在另一个连接中。
MYSQL百万数据查询优化
weixin_45440755的博客
03-26 2896
在查询第100000条记录之后的10条时，耗费时间：0.227s在查询第200000条记录之后的10条时，耗费时间：0.251s在查询第500000条记录之后的10条时，耗费时间：0.916s在查询第800000条记录之后的10条时，耗费时间：1.639s在查询第1000000条记录之后的10条时，耗费时间：2.038s以上叫做深度分页，即查询偏移量过大的场景，这会导致查询性能较低。
MySQL百万级数据库查询优化技巧
Franco的博客
09-27 325
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： select id f
MySQL数据库百万数据查询优化
error311的博客
09-17 505
explain 在查询语句前加上进行分析 数据库索引会大大优化数据的查询，所以对数据表建立索引是很有必要的 优化方案 1.最左前缀法则：数据库建立的复合索引会采用最左前缀法则。 当进行数据查询时，限制条件需要和建立复合索引的顺序相匹配，此时的查询采用的是最左前缀法则。 举例： 如果复合索引的顺序为a->b->c。 那么如果按照a->c查找时, a索引有效，c索引无效 如果...
MySQL 百万级分页查询优化
chinansa的博客
11-24 1221
例如，只需要查询`id`、`name`和`age`三个字段进行分页显示，应该使用`SELECT id, name, age FROM table_name WHERE condition ORDER BY column_name LIMIT offset, limit;例如，有一个`users`表，包含`id`（主键）、`name`、`age`和`create_time`字段，经常按照`create_time`降序进行分页查询。但如果只使用`price`条件，索引可能无法有效使用。1. 调整缓存相关参数。
【MYSQL】MySQL 百万级数据量分页查询方法及其优化
红尘道，红尘练心
06-24 2756
方法 1: 直接使用数据库提供的 SQL 语句语句样式: MySQL 中, 可用如下方法: SELECT * FROM 表名称 LIMIT M,N适应场景: 适用于数据量较少的情况 (元组百 / 千级)原因 / 缺点: 全表扫描, 速度会很慢 且 有的数据库结果集返回不稳定 (如某次返回 1,2,3, 另外的一次返回 2,1,3). Limit 限制的是从结果集的 M 位置处取出 N 条输出, 其余抛弃.方法 2: 建立主键或唯一索引, 利用索引 (假设每页 10 条)语句样式: MySQL 中, 可用如下
MySql处理百万级数据时如何优化
ningziwen的博客
08-04 1482
内容转载于：https://www.cnblogs.com/daofaziran/p/11013443.html 1.两种查询引擎查询速度（myIsam 引擎 ） InnoDB 中不保存表的具体行数，也就是说，执行select count(*) from table时，InnoDB要扫描一遍整个表来计算有多少行。 MyISAM只要简单的读出保存好的行数即可。 注意的是，当count(*)语句包含 where条件时，两种表的操作有些不同，InnoDB类型的表用count(*)或者count(主键)，
MySql 百万级数量查询优化总结
piaolaoshi的博客
09-25 3546
MySql 百万级数量查询优化总结
mysql sql 百万级数据库优化方案
wangwangxiang918的专栏
09-29 355
<br />1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。<br />　　2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：<br />　　select id from t where num is null<br />　　可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：<br />　　select id from t where num=0<br />　　3
给你100万条数据的一张表，你将如何查询优化？
qq_26282869的博客
01-28 3495
1.两种查询引擎查询速度（myIsam 引擎 ） InnoDB 中不保存表的具体行数，也就是说，执行select count(*) from table时，InnoDB要扫描一遍整个表来计算有多少行。 MyISAM只要简单的读出保存好的行数即可。 注意的是，当count(*)语句包含 where条件时，两种表的操作有些不同，InnoDB类型的表用count(*)或者count(主键)，加上wher...
记一次mysql百万级别数据查询优化功能——表分区
CCc3120的博客
04-21 369
记一次mysql百万级别数据查询优化功能——表分区前言开发环境优化过程结语 前言 Mysql是目前比较主流的一款关系型数据库，详细介绍点击. 本次所介绍的内容是基于mysql数据库三百万数据的基础上进行查询优化。需要对数据库命令操作和数据库索引以及数据库分区有一定的了解。 开发环境 MySQL5.7.30下载链接 操作系统win10 优化过程 表结构如下： 备注：本次优化过程将student表复制三份，方便测试用，分别为： 1、student 2、student_test 3、student_test_co
mysql百万级数据查询优化
09-01
MySQL百万级数据查询优化是提高数据库性能的重要步骤。下面是一些建议： 1. 索引优化：通过合理的索引设计，能够加快查询速度。对于经常作为查询条件的列，添加索引能够提高查询效率。 2. 分页查询优化：对于大数据量的查询结果，可以使用分页查询来避免一次性加载所有数据。通过设置合理的分页大小，可以加快查询速度。 3. 使用合适的存储引擎：MySQL支持多种存储引擎，如InnoDB、MyISAM等。根据实际应用需求选择合适的存储引擎可以提高查询性能。 4. 查询语句优化：通过合理的查询语句设计，能够减少不必要的数据查询和计算，加快查询速度。例如，避免使用SELECT *查询所有列，只查询需要的列。 5. 分区表：对于大数据量的表，可以考虑使用分区表来提高查询性能。通过将表按照某个列进行分区，可以将数据分散存储在多个物理文件中，提高查询效率。 6. 调整内存和缓存配置：根据实际硬件情况和数据库负载，合理配置MySQL的内存和缓存参数，如缓存大小、连接池大小等，以提高数据库性能。 7. 查询计划优化：通过对查询执行计划进行分析，可以找出查询中存在的性能瓶颈，并对其进行优化。例如，添加合适的索引、调整查询语句等。 8. 数据库分片：对于超大规模的数据量，可以考虑将数据库分片存储在多个服务器上，通过分片查询来提高查询性能。 总之，针对百万级数据查询优化，需要综合考虑索引设计、分页查询、存储引擎选择、查询语句优化、分区表、内存和缓存配置、查询计划优化以及数据库分片等多个方面。不同的应用场景可能有不同的优化策略，需要结合实际情况进行调整。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值