查询优化器 MySQL Query Optimizer
-
MySQL中有专门负责优化 SELECT 语句的优化器模块,主要功能:通过计算分析系统中收集到的统计信息,为客户端请求的 Query 提供他认为最优的执行计划(他认为最优的数据检索方式,但不见得是DBA认为是最优的,这部分最耗费时间)
-
当客户端向 MySQL请求一条Query,命令解析器模块完成请求分类,区别出是 SELECT 并转发给 MySQL Query Optimizer时,MySQL Query Optimizer首先会对整条 Query 进行优化,处理掉一些常量表达式的预算,直接换算成常量值。并对 Query中的查询条件进行简化和转换,如去掉一些无用或显而易见的条件、结构调整等。然后分析 Query中的Hint信息(如果有),看显示Hint信息是否可以完全确定该 Query 的执行计划。如果没有Hint或Hint信息还不足以完全确定执行计划,则会读取所涉及对象的统计信息,根据 Query进行写相应的计算分析,然后再得出最后的执行计划。
MySQL常见瓶颈
-
CPU:CPU在饱和的时候一般发生在数据装入内存或从磁盘上读取数据时候
-
IO:磁盘I/O瓶颈发生在装入数据远大于内存容量的时候
-
服务器硬件的性能瓶颈:top,free,iostat 和 vmstat 来查看系统的性能状态
执行计划EXPLAIN
是什么:
使用 EXPLAIN关键字可以模拟优化器执行SQL查询语句,从而知道 MySQL是如何处理你的sq语句的。分析你的查询语句或是表结构的性能瓶颈。
能干什么
- 表的读取顺序
- 数据读取操作的操作类型
- 哪些索引可以使用
- 哪些索引被实际使用
- 表之间的引用
- 每张表有多少行被优化器查询
如何使用
使用:explain + sql语句
执行计划包含的信息:
+----+-------------+------------+------------+------+---------------+------+---------+------+-------+----------+-------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
+----+-------------+------------+------------+------+---------------+------+---------+------+-------+----------+-------+
信息解释:
id
select查询的序列号,包含一组数字,表示查询种执行select字句或操作表的顺序。
三种情况:
-
id相同:
执行顺序由上至下
-
id不同:
如果是子查询,id的序号会递进,id值越大优先级越高,越先被执行
-
id相同不同,同时存在:
id如果相同,可以认为是一组,从上往下 顺序执行 ,在所有组种, id值越大,优先级越高,越先执行
select_type
查询的类型,主要用于区别普通查询、联合查询、子查询等的复杂查询。
select_type值包括:
- simple
- 简单的select查询,查询种不包含子查询或者union
- primary
- 查询种若包含任何复杂的子部分,最外层查询则被标记为primary
- subquery
- 在select或者where列表中包含了子查询
- derived
- 在from列表中包含的子查询被标记为derived(衍生),MySQL会递归执行这些子查询,把结果放在临时表里。
- union
- 若第二个select出现在union之后,则被标记为union,若union包含在from子句的子查询中,外层select将被标记为:derived
- union result
- 从union表获取结果的select
table
显示这一行数据是关于哪张表的
type
显示查询使用了何种类型,从最好到最差的依次是:
常见:system > const > eq_ref > ref > range > index > all
全部:system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range> index > all
一般来说,的保证查询至少达到range
级别,最好能达到ref
。
详解:
-
system
- 表只有一行记录(等于系统表),这是
const
类型的特例,平时不会出现,这个也可以忽略不计。
- 表只有一行记录(等于系统表),这是
-
const
- 表示通过索引一次就找到了,
const
用于比较primary key
或者unique
索引。用为只匹配一行数据,所以很快。如将主键置于where
列表中,MySQL
就能将该查询转换为一个常量。
- 表示通过索引一次就找到了,
-
eq_ref
- 唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于主键或唯一索引扫描。
-
ref
- 非唯一性索引扫描,返回匹配某个单独值的所有行。本质上也是一种索引访问,它返回所有匹配某个单独值的行。然而,他可能会找到对各符合条件得行,所以它应该属于查找和扫描的混合体。
-
range
- 只检索给定范围的行,只用一个索引来选择行。
key
列显示使用了哪个索引。一般就是你的where语句中出现了between
、<
、>
、in
等的查询。这种范围扫描索引扫描比全表扫描要好,因为它只需要从开始于索引的某一个点,而结束另一个点,不用扫描全部索引。
- 只检索给定范围的行,只用一个索引来选择行。
-
index
full index scan
,index
与all
区别是,index
类型只遍历索引树,这通常比all
快。因为索引树文件通常比数据文件小。(也就是说虽然all
和index
都是读全表,但是index
是从索引中读取,而all
是从硬盘中读取)
-
all
full index scan
,将遍历全表以找到匹配的行。
possible_keys
显示可能应用在这张表中的索引,一个或则多个。查询涉及到的字段上若存在多个索引,索引都将被列出,但不一定被查询实际使用。
key
实际使用的索引,如果为NULL,则没有使用索引。
查询中若使用了覆盖索引,则该索引仅出现在key列表中。
key_len
表示索引中使用的字节数,可通过该列计算查询中使用的索引长度。在不损失精确性的情况下,长度越短越好。key_len
显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len
是根据表定义计算而得,不是通过表内检索出的。
ref
显示索引的哪一列被使用了,如果可能的话,是一个常数。哪些列或常量被用于查找索引列上的值。
rows
根据表统计信息及索引选用情况,大致估算出找到所需的记录需要读取的行数。
Extra
包含不适合在其他列显示,但十分重要的额外信息。
-
using filesort
(不好)说明MySQL会对数据使用一个外部的索引排序,而不是按照表内的索引顺序进行读取,MySQL中无法利用索引完成的排序成为“文件内排序”
-
using temporary
(不好)使用了临时表保存中间结果,
MySQL
在对查询结果排序时使用了临时表。常见于排序order by
和分组查询group by
。 -
using index
(好)表示相应的
select
操作中使用了覆盖索引(Covering Index
),避免访问了表的数据行,效率不错!如果同时出现using where
,表明索引被用来执行索引键值的查找。如果没有同时出现using where
,表明索引用来读取数据而非执行査找动作。覆盖索引( Covering Index ),一说为索引覆盖:
理解方式一:就是 select 的数据列只用从索引中就能够取得,不必读取数据行, MySQL可以利用索引返回 select 列表中的字段,而不必根据索引再次读取数据文件,换句话说查询列要被所建的索引覆盖。
理解方式二:索引是高效找到行的一个方法,但是一般数据库也能使用索引找到一个列的数据,因此它不必读取整个行。毕竟索引叶子节点存储了它们索引的数据,当能通过读取索引就可以得到想要的数据,那就不需要读取行了。一个索引包含了(或覆盖了)满足查询结果的数据就叫做覆盖索引。
注意:
如果要使用覆盖索引,一定要注意select列表中只取出需要的列,不可
select*
,因为如果将所有字段一起做索引会导致索引文件过大,查询性能下降。 -
using where
表明使用了where过滤
-
using join buffer
使用了连接缓存
-
impossible where
where字句的值总是false,不能用来获取任何元组
-
select tables optimized
在没有
group by
字句的情况下,基于索引优化min/max
操作或者对于MyISAM
存储引擎优化COUNT(*)
操作,不必等到执行阶段再进行计算,查询执行计划生成的阶段即完成优化。 -
distinct
优化distinct操作,在找到第一匹配的元组后即停止找同样值得操作