数据库篇(5)-- sql 优化

一、首先要分析你的sql

---

分析sql语句：在你的sql语句前添加explain 或者点击Navicat中的解释工具

会出现以下表头字段：

现在说一下每个表头的字段代表什么意思

（1）id : select查询的序列号，包含一组数字，表示查询中执行select子句或操作表的顺序

id相同	执行顺序由上至下
id不同	如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行
id相同又不同（两种情况同时存在）	id如果相同，可以认为是一组，从上往下顺序执行；

备注：在所有组中，id值越大，优先级越高，越先执行

（2）select_type : 查询的类型，主要是用于区分普通查询、联合查询、子查询等复杂的查询

SIMPLE	简单的select查询，查询中不包含子查询或者union
PRIMARY	查询中包含任何复杂的子部分，最外层查询则被标记为primary
SUBQUERY	在select 或 where列表中包含了子查询
DERIVED	在from列表中包含的子查询被标记为derived（衍生），mysql或递归执行这些子查询，把结果放在临时表里
UNION	若第二个select出现在union之后，则被标记为union；若union包含在from子句的子查询中，外层select将被标记为derived
UNION RESULT	从union表获取结果的select

（3）type : 访问类型，sql查询优化中一个很重要的指标，结果值从好到坏依次是

system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > All
（一般来说，好的sql查询至少达到range级别，最好能达到ref）

system	表只有一行记录（等于系统表），这是const类型的特例，平时不会出现，可以忽略不计
const	表示通过索引一次就找到了，const用于比较primary key 或者 unique索引。因为只需匹配一行数据，所有很快。如果将主键置于where列表中，mysql就能将该查询转换为一个const
eq_ref	唯一性索引扫描，对于每个索引键，表中只有一条记录与之匹配。常见于主键或 唯一索引扫描
ref	非唯一性索引扫描，返回匹配某个单独值的所有行。本质是也是一种索引访问，它返回所有匹配某个单独值的行，然而他可能会找到多个符合条件的行，所以它应该属于查找和扫描的混合体
range	只检索给定范围的行，使用一个索引来选择行。key列显示使用了那个索引。一般就是在where语句中出现了bettween、<、>、in等的查询。这种索引列上的范围扫描比全索引扫描要好。只需要开始于某个点，结束于另一个点，不用扫描全部索引
index	Full Index Scan，index与ALL区别为index类型只遍历索引树。这通常为ALL块，应为索引文件通常比数据文件小。（Index与ALL虽然都是读全表，但index是从索引中读取，而ALL是从硬盘读取）
ALL	Full Table Scan，遍历全表以找到匹配的行

注意：ALL全表扫描的表记录最少的表

（4）possible_keys : 查询涉及到的字段上存在索引，则该索引将被列出，但不一定被查询实际使用

（5）key : 实际使用的索引，如果为NULL，则没有使用索引。查询中如果使用了覆盖索引，则该索引仅出现在key列表中

（6）key_len : 表示索引中使用的字节数，查询中使用的索引的长度（最大可能长度），并非实际使用长度，理论上长度越短越好。key_len是根据表定义计算而得的，不是通过表内检索出的

（7）ref : 显示索引的那一列被使用了，如果可能，是一个常量const。

（8）rows : 根据表统计信息及索引选用情况，大致估算出找到所需的记录所需要读取的行数

（9）Extra : 不适合在其他字段中显示，但是十分重要的额外信息

Using filesort	mysql对数据使用一个外部的索引排序，而不是按照表内的索引进行排序读取。也就是说mysql无法利用索引完成的排序操作成为“文件排序” (性能消耗大，需要“额外”的一次排序（查询）对于单索引，如果排序和查找是同一个字段，则不会出现using filesort；否则则出现。 对于复合索引出现using filesort的避免方法：where和order by 按照复合索引的顺序使用，不要跨列或无序使用。)
Using temporary	使用临时表保存中间结果，也就是说mysql在对查询结果排序时使用了临时表，常见于order by 和 group by (性能损耗大，用到了临时表，经常出现在geoup by语句中。(原因：已经有表了，但不使用，必须再来一张表))
Using index	表示相应的select操作中使用了覆盖索引（Covering Index），避免了访问表的数据行，效率高。如果同时出现Using where，表明索引被用来执行索引键值的查找如果没用同时出现Using where，表明索引用来读取数据而非执行查找动作。覆盖索引（Covering Index）：也叫索引覆盖。就是select列表中的字段，只用从索引中就能获取，不必根据索引再次读取数据文件，换句话说查询列要被所建的索引覆盖。 如需使用覆盖索引，select列表中的字段只取出需要的列，不要使用select * 如果将所有字段都建索引会导致索引文件过大，反而降低crud性能 ( 性能提升，索引覆盖（覆盖索引）。原因：不读取原文件，只从索引文件中获取数据（不需要回表查询）只要使用到的列全部在索引中，就叫做索引覆盖 如果用到了索引覆盖（using index）,会对possible_keys和key造成影响； 如果没有where,则索引只出现在key中 若果有where,则索引出现在key和possible_keys中。 )
Using where	使用了where过滤(需要回表查询)
Using join buffer	使用了链接缓存
Impossible WHERE	where子句的值总是false，不能用来获取任何元祖(where子句永远为false)
select tables optimized away	在没有group by子句的情况下，基于索引优化MIN/MAX操作或者对于MyISAM存储引擎优化COUNT（*）操作，不必等到执行阶段在进行计算，查询执行计划生成的阶段即可完成优化
distinct	优化distinct操作，在找到第一个匹配的元祖后即停止找同样值得动作

二、依据分析结果找原因

---

我们在分析找原因之前要了解一下sql为什么需要优化、以及主要优化什么。

sql需要分析优化的原因：

性能低，执行时间长，等待时间太长，SQL语句欠佳（连接查询），索引失败，服务器参数设置不合理（缓冲、线程数）

sql优化主要优化什么:

sql优化主要就是优化索引，除非你写的sql特别烂，很多冗余

对SQL语句进行优化的过程，就是提高索引的命中率过程，其主要目的是降低字节开销和基数，节约耗费和CPU耗费，提升整体执行效率。针对优化方法不一定，要视具体情况而定，尽可能提高执行结果的返回速度。

我们可以依据分析sql语句中explain结果，来查看以下几个字段：

1. id字段可以查看表的执行顺序，判断是否符合预期
2. select_type字段可以查看是否使用了临时表，表的查询简单查询还是子查询的情况
3. type字段结果判断是否使用索引，以及大概是什么索引，使用索引的情况怎么样
4. key字段可以查询实际使用的索引，查看我们设置的索引是否生效（比如走A索引要扫描100行，B所有只要20行，但是MySQL可能选择走A索引（发现走A索引不需要回表，没有额外的开销））
5. Extra字段可以给予一些额外信息，比如该sql良好使用了索引或者使用了where过滤

三、优化sql

---

优化的时候要顾及几个方面:

1.最左前缀匹配原则:

比如有索引 (a,b,c,d)

（1）全值匹配查询时：

select * from table_name where a = '1' and b = '2' and c = '3' and d = '4'

用到了索引,where子句几个搜索条件顺序调换不影响查询结果，因为Mysql中有查询优化器，会自动优化查询顺序 

（2）匹配左边的列时:

where a = '1'

where a = '1' and b = '2'

where a = '1' and b = '2' and c = '3'

都从最左边开始连续匹配，用到了索引

以下这些是没用到索引的

1）没有从最左边开始，最后查询没有用到索引，用的是全表扫描

where b = '2'

where c = '3'

where b = '1' and c = '3'

2）不连续时，只用到了a列的索引，b列和c列都没有用到

where a = '1' and c = '3' 

（3）匹配列前缀（如果列是字符串的话从左边第一个字符匹配到最后一个字符）

where a like 'As%'

前缀都是排好序的，走索引查询；前缀匹配用的是索引，后缀和中缀只能全表扫描了

（衍生出前缀索引：如所有人的身份证都是区域开头的，同区域的人很多，我们可以REVERSE（）函数翻转一下身份证编码，区分度可能就高了）

以下是没用到索引的：（会全表查询）

where  a like '%As'

where  a like '%As%'

（4）匹配范围值

where  a > 1 and a < 3 and b > 1;

多个列同时进行范围查找时，只有对索引最左边的那个列进行范围查找才用到B+树索引，也就是只有a用到索引

（5）精确匹配某一列并范围匹配另外一列

MySQL会一直向右匹配直到遇到范围查询 （>,<,BETWEEN,LIKE）就停止匹配。

where a=1 and b=2 and c>3 and d=4

d是用不到索引的，则会在每个节点依次命中a、b、c，无法命中d。(c已经是范围查询了，d肯定是排不了序了)

2.索引列不能参与计算：

比如， FROM_UNIXTIME(create_time)='2016-06-06' 就不能使用索引，原因很简单，B+树中存储的都是数据表中的字段值

比如 select * from tradelog where id + 1 = 10000 就走不上索引，select * from tradelog where id = 9999就可以。

3.尽可能的扩展索引，不要新建立索引：

比如表中已经有了a的索引，现在要加（a,b）的索引，那么只需要修改原来的索引即可。

4.对于很长的字段，我们可以用hash去优化。

因为存在一个磁盘占用的问题，索引选取的越长，占用的磁盘空间就越大，相同的数据页能放下的索引值就越少，搜索的效率也就会越低。

把字段hash为另外一个字段存起来，每次校验hash就好了，hash的索引也不大。

5.避免回表情况

（1）使用覆盖索引（只需要在一棵索引树上就能获取SQL所需的所有列数据，无需回表，速度更快。）：

比如用户表通过各种信息查询到用户id，id一般都是主键

select  id  from table where name =“suncat”

比如name是普通索引，普通索引一般都会搜到到对应信息的id/name，如果返回值只要name或者id，那么就不用执行回表操作，直接返回

（否则会依据id再去查找对应的其他信息，如

select  id,name,sex  from table where name =“suncat”

sex字段必须回表查询才能获取到，不符合索引覆盖，需要再次通过id值扫码聚集索引获取sex字段，效率会降低

）

由于覆盖索引可以减少树的搜索次数，显著提升查询性能，所以使用覆盖索引是一个常用的性能优化手段。

（2）使用联合索引：接着上面的例子，如select  id,name,sex  from table where name =“suncat”，假设name跟sex是一个很高频的查询请求结果。

如果按照name索引查询，会先查询其id，再回表查询该open_time信息，这不是我们期望看到的。

如果把(name)单列索引升级为联合索引(name, sex)就不同了。这样查name的时候，就能将sex查出来了，无需回表。

 更多内容：

数据库篇(1)--数据库事务的四大特性（ACID）

数据库篇(2)--数据库隔离级别及脏读、不可重复读、幻读

数据库篇(3)--MySQL存储引擎InnoDB和MyISAM区别及使用场景

数据库篇(4)--索引

数据库篇(5)-- sql 优化