MySQL高级

最新推荐文章于 2023-12-05 21:25:04 发布
最新推荐文章于 2023-12-05 21:25:04 发布
阅读量660 收藏
点赞数
分类专栏： MySQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45321681/article/details/116561794
版权

文章目录

数据库的概念

  • DB: 数据库（database）：存储数据的 “仓库”。它保存了一些列有组织的数据。

  • DBMS: 数据库管理系统（Database Management System）。

    • 数据库是通过DBMS创建和操作的容器
      常见的数据库管理系统：MySQL、Oracle、DB2、SqlServer等

  • SQL结构化查询语言（Structure Query Language）：专门用来与数据库通信的语言。

    • SQL的优点：①简单易学；②不是某个特定数据库供应商专有的语言，几乎所有的DBMS都支持SQL；③虽然简单，但实际上是一种强有力的语言，灵活使用其语言元素，可以进行非常复杂和高级的数据库操作。

常用条件查询：
在这里插入图片描述

索引

索引（index）是帮助mysql高效查询的一种数据结构，在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这种数据结构以某种方式指向（引用）数据， 这样就可以在这些数据结构上实现高级查找算法。

在这里插入图片描述
最左边的是数据记录的物理地址（注意逻辑上相邻的记录在磁盘上也并不是一定物理相邻的）。为了加快Col2的查找，可以维护一个右边所示的二叉查找树（最多两个子节点），每个节点分别包含索引键值和一个指向对应数据记录物理地址的指针，这样就可以运用二叉查找快速获取到相应数据。

一般来说索引本身也很大，不可能全部存储在内存中，因此索引往往以索引文件的形式存储在磁盘上。索引是数据库中用来提高性能的最常用的工具。

索引的优势&劣势

优势：

  • 类似于书籍中的目录查找，提高数据检索的效率，降低IO成本
  • 通过索引列对数据进行排序，减低数据排序的成本，降低CPU的消耗

劣势：

  • 索引也是一张表，索引表指向实体类，所以索引占用空间
  • 降低了更新表的速度，如对表进行 INSERT、UPDATA、DELETE。因为更新表时，MySQL 不仅要保存数据，还要保存一下索引文件每次更新添加了索引列的字段，都会调整因为更新所带来的键值变化后的索引信息一个表的索引数最好不要超过6个

索引结构

索引是依靠mysql引擎层实现的，每种存储引擎的索引都不一定完全相同，也不是所有的存储引擎都支持所有的索引类型的。MySQL目前提供了以下4种索引：

  • BTREE 索引 ： 最常见的索引类型，大部分索引都支持 B 树索引。
  • HASH 索引：只有Memory引擎支持 ， 使用场景简单 。
  • R-tree 索引（空间索引）：空间索引是MyISAM引擎的一个特殊索引类型，主要用于地理空间数据类型，通常使用较少，不做特别介绍。
  • Full-text （全文索引）：全文索引也是MyISAM的一个特殊索引类型，主要用于全文索引，InnoDB从Mysql5.6版本开始支持全文索引。主要是用来代替like "%***%"效率低下的问题

MyISAM、InnoDB、Memory三种存储引擎对各种索引类型的支持

索引InnoDB引擎MyISAM引擎Memory引擎
BTREE 索引支持支持支持
HASH 索引不支持不支持支持
R-tree 索引不支持支持不支持
Full-text 索引5.6版本之后支持支持不支持

我们平常所说的索引，如果没有特别指明，都是指B+树（多路搜索树，并不一定是二叉的）结构组织的索引。其中聚集索引、复合索引、前缀索引、唯一索引默认都是使用 B+tree 索引，统称为 索引。

BTREE 结构

BTree又叫多路平衡搜索树，一颗m叉的BTree特性如下：

  • 树中每个节点最多包含m个孩子。
  • 除根节点与叶子节点外，每个节点至少有[ceil(m/2)]个孩子 向上取整。
  • 若根节点不是叶子节点，则至少有两个孩子。
  • 所有的叶子节点都在同一层。
  • 每个非叶子节点由n个key与n+1个指针组成，其中[ceil(m/2)-1] <= n <= m-1

以5叉BTree为例，key的数量：公式推导[ceil(m/2)-1] <= n <= m-1。所以 2 <= n <=4 。当n>4时，中间节点分裂到父节点，两边节点分裂。

演变过程如下：

插入 C N G A H E K Q M F W L T Z D P R X Y S 数据为例。

1). 插入前4个字母 C N G A

1555944126588

2). 插入H，n>4，中间元素G字母向上分裂到新的节点

1555944549825

3). 插入E，K，Q不需要分裂

1555944596893

4). 插入M，中间元素M字母向上分裂到父节点G

1555944652560

5). 插入F，W，L，T不需要分裂

1555944686928

6). 插入Z，中间元素T向上分裂到父节点中

1555944713486

7). 插入D，中间元素D向上分裂到父节点中。然后插入P，R，X，Y不需要分裂

1555944749984

8). 最后插入S，NPQR节点n>5，中间节点Q向上分裂，但分裂后父节点DGMT的n>5，中间节点M向上分裂

1555944848294

到此，该BTREE树就已经构建完成了， BTREE树 和 二叉树 相比， 查询数据的效率更高， 因为对于相同的数据量来说，BTREE的层级结构比二叉树小，因此搜索速度快。

B+TREE 结构

B+Tree为BTree的变种，B+Tree与BTree的区别为：

  1. n叉B+Tree最多含有n个key，而BTree最多含有n-1个key。
  2. B+Tree的叶子节点保存所有的key信息，依key大小顺序排列。
  3. 所有的非叶子节点都可以看作是key的索引部分。

在这里插入图片描述

由于B+Tree只有叶子节点保存key信息，查询任何key都要从root走到叶子。所以B+Tree的查询效率更加稳定。

MySQL中的B+Tree

MySql索引数据结构对经典的B+Tree进行了优化。在原B+Tree的基础上，增加一个指向相邻叶子节点的链表指针，就形成了带有顺序指针的B+Tree，提高区间访问的性能。

MySQL中的 B+Tree 索引结构示意图:
在这里插入图片描述
数据结构已经帮我们把数据排序好了，查询效率就很快

索引分类

  • 单值索引 ：即一个索引只包含单个列，一个表可以有多个单列索引
  • 唯一索引 ：索引列的值必须唯一，运行多个null，只运行一个空值 （null不知道，空值确定没有）
  • 复合索引 ：即一个索引包含多个列

索引语法

CREATE 	[UNIQUE|FULLTEXT|SPATIAL]  INDEX index_name 
[USING  index_type]
ON tbl_name(index_col_name,...)

index_col_name : column_name[(length)][ASC | DESC]

查看索引：

show index  from  table_name;

删除索引：

DROP  INDEX  index_name  ON  tbl_name;

ALTER命令

1). alter  table  tb_name  add  primary  key(column_list); 

	该语句添加一个主键，这意味着索引值必须是唯一的，且不能为NULL
	
2). alter  table  tb_name  add  unique index_name(column_list);
	
	这条语句创建索引的值必须是唯一的（除了NULL外，NULL可能会出现多次）
	
3). alter  table  tb_name  add  index index_name(column_list);

	添加普通索引， 索引值可以出现多次。
	
4). alter  table  tb_name  add  fulltext  index_name(column_list);
	
	该语句指定了索引为FULLTEXT， 用于全文索引

索引设计原则

索引的设计可以遵循一些已有的原则，创建索引的时候请尽量考虑符合这些原则，便于提升索引的使用效率，更高效的使用索引。

  • 对查询频次较高，且数据量比较大的表建立索引。
  • 索引字段的选择，最佳候选列应当从where子句的条件中提取，如果where子句中的组合比较多，那么应当挑选最常用、过滤效果最好的列的组合。
  • 使用唯一索引，区分度越高，使用索引的效率越高。
  • 索引可以有效的提升查询数据的效率，但索引数量不是多多益善，索引越多，维护索引的代价自然也就水涨船高。对于插入、更新、删除等DML操作比较频繁的表来说，索引过多，会引入相当高的维护代价，降低DML操作的效率，增加相应操作的时间消耗。另外索引过多的话，MySQL也会犯选择困难病，虽然最终仍然会找到一个可用的索引，但无疑提高了选择的代价。
  • 使用短索引，索引创建之后也是使用硬盘来存储的，因此提升索引访问的I/O效率，也可以提升总体的访问效率。假如构成索引的字段总长度比较短，那么在给定大小的存储块内可以存储更多的索引值，相应的可以有效的提升MySQL访问索引的I/O效率。
  • 利用最左前缀，N个列组合而成的组合索引，那么相当于是创建了N个索引，如果查询时where子句中使用了组成该索引的前几个字段，那么这条查询SQL可以利用组合索引来提升查询效率。
创建复合索引:

	CREATE INDEX idx_name_email_status ON tb_seller(NAME,email,STATUS);

就相当于
	对name 创建索引 ;
	对name , email 创建了索引 ;
	对name , email, status 创建了索引 ;

Mysql的体系结构概览

在这里插入图片描述

整个MySQL Server由以下组成

  • Connection Pool : 连接池组件
  • Management Services & Utilities : 管理服务和工具组件
  • SQL Interface : SQL接口组件
  • Parser : 查询分析器组件
  • Optimizer : 优化器组件
  • Caches & Buffers : 缓冲池组件
  • Pluggable Storage Engines : 存储引擎
  • File System : 文件系统

连接层

最上层是一些客户端和链接服务，包含本地sock 通信和大多数基于客户端/服务端工具实现的类似于 TCP/IP的通信。主要完成一些类似于连接处理、授权认证、及相关的安全方案。在该层上引入了线程池的概念，为通过认证安全接入的客户端提供线程。同样在该层上可以实现基于SSL的安全链接。服务器也会为安全接入的每个客户端验证它所具有的操作权限。

服务层

第二层架构主要完成大多数的核心服务功能，如SQL接口，并完成缓存的查询，SQL的分析和优化，部分内置函数的执行。所有跨存储引擎的功能也在这一层实现，如 过程、函数等。在该层，服务器会解析查询并创建相应的内部解析树，并对其完成相应的优化如确定表的查询的顺序，是否利用索引等， 最后生成相应的执行操作。如果是select语句，服务器还会查询内部的缓存，如果缓存空间足够大，这样在解决大量读操作的环境中能够很好的提升系统的性能。

引擎层

存储引擎层， 存储引擎真正的负责了MySQL中数据的存储和提取，服务器通过API和存储引擎进行通信。不同的存储引擎具有不同的功能，这样我们可以根据自己的需要，来选取合适的存储引擎。

存储层

数据存储层， 主要是将数据存储在文件系统之上，并完成与存储引擎的交互。

和其他数据库相比，MySQL有点与众不同，它的架构可以在多种不同场景中应用并发挥良好作用。主要体现在存储引擎上，插件式的存储引擎架构，将查询处理和其他的系统任务以及数据的存储提取分离。这种架构可以根据业务的需求和实际需要选择合适的存储引擎

存储引擎

存储引擎就是存储数据，建立索引，更新查询数据等等技术的实现方式 。存储引擎是基于表的，而不是基于库的。所以存储引擎也可被称为表类型。

Oracle，SqlServer等数据库只有一种存储引擎。MySQL提供了插件式的存储引擎架构。所以MySQL存在多种存储引擎，可以根据需要使用相应引擎，或者编写存储引擎。

存储引擎特性

在这里插入图片描述
InooDB：

事务控制

start transaction;

insert into goods_innodb(id,name)values(null,'Meta20');

commit;

外键约束

MySQL支持外键的存储引擎只有InnoDB ， 在创建外键的时候， 要求父表必须有对应的索引 ， 子表在创建外键的时候， 也会自动的创建对应的索引。

create table country_innodb(
	country_id int NOT NULL AUTO_INCREMENT,
    country_name varchar(100) NOT NULL,
    primary key(country_id)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;


create table city_innodb(
	city_id int NOT NULL AUTO_INCREMENT,
    city_name varchar(50) NOT NULL,
    country_id int NOT NULL,
    primary key(city_id),
    key idx_fk_country_id(country_id),
    CONSTRAINT `fk_city_country` FOREIGN KEY(country_id) REFERENCES country_innodb(country_id) ON DELETE RESTRICT ON UPDATE CASCADE
)ENGINE=InnoDB DEFAULT CHARSET=utf8;



insert into country_innodb values(null,'China'),(null,'America'),(null,'Japan');
insert into city_innodb values(null,'Xian',1),(null,'NewYork',2),(null,'BeiJing',1);

在创建索引时， 可以指定在删除、更新父表时，对子表进行的相应操作，包括 RESTRICT、CASCADE、SET NULL 和 NO ACTION。

RESTRICT和NO ACTION相同， 是指限制在子表有关联记录的情况下， 父表不能更新；

CASCADE表示父表在更新或者删除时，更新或者删除子表对应的记录；

SET NULL 则表示父表在更新或者删除的时候，子表的对应字段被SET NULL 。

针对上面创建的两个表， 子表的外键指定是ON DELETE RESTRICT ON UPDATE CASCADE 方式的， 那么在主表删除记录的时候， 如果子表有对应记录， 则不允许删除， 主表在更新记录的时候， 如果子表有对应记录， 则子表对应更新 。

MyISAM：

MyISAM 不支持事务、也不支持外键，其优势是访问的速度快，对事务的完整性没有要求或者以SELECT、INSERT为主的应用基本上都可以使用这个引擎来创建表 。

MEMORY
Memory存储引擎将表的数据存放在内存中。每个MEMORY表实际对应一个磁盘文件，格式是.frm ，该文件中只存储表的结构，而其数据文件，都是存储在内存中，这样有利于数据的快速处理，提高整个表的效率。MEMORY 类型的表访问非常地快，因为他的数据是存放在内存中的，并且默认使用HASH索引 ， 但是服务一旦关闭，表中的数据就会丢失。

存储引擎的选择

​在选择存储引擎时，应该根据应用系统的特点选择合适的存储引擎。对于复杂的应用系统，还可以根据实际情况选择多种存储引擎进行组合。以下是几种常用的存储引擎的使用环境。

  • InnoDB :
    是Mysql的默认存储引擎，用于事务处理应用程序，支持外键。如果应用对事务的完整性有比较高的要求，在并发条件下要求数据的一致性，数据操作除了插入和查询意外，还包含很多的更新、删除操作，那么InnoDB存储引擎是比较合适的选择。InnoDB存储引擎除了有效的降低由于删除和更新导致的锁定，还可以确保事务的完整提交和回滚，对于类似于计费系统或者财务系统等对数据准确性要求比较高的系统，InnoDB是最合适的选择。

  • MyISAM ：
    如果应用是以读操作和插入操作为主，只有很少的更新和删除操作，并且对事务的完整性、并发性要求不是很高，那么选择这个存储引擎是非常合适的。

  • MEMORY：将所有数据保存在RAM中，在需要快速定位记录和其他类似数据环境下，可以提供几块的访问。MEMORY的缺陷就是对表的大小有限制，太大的表无法缓存在内存中，其次是要确保表的数据可以恢复，数据库异常终止后表中的数据是可以恢复的。MEMORY表通常用于更新不太频繁的小表，用以快速得到访问结果。

  • MERGE：用于将一系列等同的MyISAM表以逻辑方式组合在一起，并作为一个对象引用他们。MERGE表的优点在于可以突破对单个

  • MyISAM 表的大小限制，并且通过将不同的表分布在多个磁盘上，可以有效的改善MERGE表的访问效率。这对于存储诸如数据仓储等VLDB环境十分合适。

优化SQL方案

定位低效率执行SQL

可以通过以下两种方式定位执行效率较低的 SQL 语句。

  1. 慢查询日志 : 通过慢查询日志定位那些执行效率较低的 SQL
    语句，用–log-slow-queries[=file_name]选项启动时，mysqld 写一个包含所有执行时间超过
    long_query_time 秒的 SQL 语句的日志文件。
  2. show processlist :
    慢查询日志在查询结束以后才纪录，所以在应用反映执行效率出现问题的时候查询慢查询日志并不能定位问题，可以使用show
    processlist命令查看当前MySQL在进行的线程，包括线程的状态、是否锁表等，可以实时地查看 SQL
    的执行情况，同时对一些锁表操作进行优化。
    在这里插入图片描述
1） id列，用户登录mysql时，系统分配的"connection_id"，可以使用函数connection_id()查看

2） user列，显示当前用户。如果不是root，这个命令就只显示用户权限范围的sql语句

3） host列，显示这个语句是从哪个ip的哪个端口上发的，可以用来跟踪出现问题语句的用户

4） db列，显示这个进程目前连接的是哪个数据库

5） command列，显示当前连接的执行的命令，一般取值为休眠（sleep），查询（query），连接（connect）等

6） time列，显示这个状态持续的时间，单位是秒

7） state列，显示使用当前连接的sql语句的状态，很重要的列。state描述的是语句执行中的某一个状态。一个sql语句，以查询为例，可能需要经过copying to tmp table、sorting result、sending data等状态才可以完成

8） info列，显示这个sql语句，是判断问题语句的一个重要依据

explain分析执行计划

通过以上步骤查询到效率低的 SQL 语句后，可以通过 EXPLAIN或者 DESC命令获取 MySQL如何执行 SELECT 语句的信息，包括在 SELECT 语句执行过程中表如何连接和连接的顺序。

查询SQL语句的执行计划 ：

explain  select * from tb_item where id = 1;

在这里插入图片描述

id 不同id值越大，优先级越高，越先被执行。

EXPLAIN SELECT * FROM t_role WHERE id = (SELECT role_id FROM user_role WHERE user_id = (SELECT id FROM t_user WHERE username = 'stu1'))

在这里插入图片描述

id 有相同，也有不同，同时存在。id相同的可以认为是一组，从上往下顺序执行；在所有的组中，id的值越大，优先级越高，越先执行。

EXPLAIN SELECT * FROM t_role r , (SELECT * FROM user_role ur WHERE ur.`user_id` = '2') a WHERE r.id = a.role_id ;

在这里插入图片描述

在这里插入图片描述

explain 之 select_type
在这里插入图片描述

explain 之 type
type 显示的是访问类型，是较为重要的一个指标，可取值为：

在这里插入图片描述

NULL > system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL

system > const > eq_ref > ref > range > index > ALL
==一般来说， 我们需要保证查询至少达到 range 级别， 最好达到ref 。==

explain 之 key

possible_keys : 显示可能应用在这张表的索引， 一个或多个。 

key ： 实际使用的索引， 如果为NULL， 则没有使用索引。

key_len : 表示索引中使用的字节数， 该值为索引字段最大可能长度，并非实际使用长度，在不损失精确性的前提下， 长度越短越好 。

explain 之 extra
其他的额外的执行计划信息，在该列展示 。
在这里插入图片描述

show profile分析SQL

Mysql从5.0.37版本开始增加了对 show profiles 和 show profile 语句的支持。show profiles 能够在做SQL优化时帮助我们了解时间都耗费到哪里去了。

默认profiling是关闭的，可以通过set语句在Session级别开启profiling：
在这里插入图片描述
开启

set profiling=1; //开启

测试

select * from tb_item where id < 5;

select count(*) from tb_item;

执行完上述命令之后，再执行show profiles 指令， 来查看SQL语句执行的耗时：

在这里插入图片描述
通过show profile for query query_id 语句可以查看到该SQL执行过程中每个线程的状态和消耗的时间：

在这里插入图片描述
Sending data 状态表示MySQL线程开始访问数据行并把结果返回给客户端，而不仅仅是返回个客户端。由于在Sending data状态下，MySQL线程往往需要做大量的磁盘读取操作，所以经常是整各查询中耗时最长的状态。

在这里插入图片描述

在这里插入图片描述

索引的使用

索引是数据库优化最常用也是最重要的手段之一, 通过索引通常可以帮助用户解决大多数的MySQL的性能优化问题。

避免索引失效

//新建复合索引
create index idx_seller_name_sta_addr on tb_seller(name,status,address);

全值匹配

对索引中所有列都指定具体值。如果不指定的索引列的值将不采用索引

explain select * from tb_seller where name='小米科技' and status='1' and address='北京市'

该情况下，索引生效，执行效率高。
在这里插入图片描述

最左前缀法则

如果索引了多列，要遵守最左前缀法则。指的是查询从索引的最左前列开始，并且不跳过索引中的列。

explain select * from tb_seller where  STATUS= '1' and address='北京市'

跳过name索引导致索引失效
在这里插入图片描述
如果符合最左法则，但是出现跳跃某一列，只有最左列索引生效：

explain select * from tb_seller where name = '阿里巴巴' and address='北京市'

在这里插入图片描述
范围查询的那个字段右边会失效

explain select * from tb_seller where name = '阿里巴巴' and STATUS > '1' and address='北京市'

根据前面的两个字段name ， status 查询是走索引的， 但是最后一个条件address 没有用到索引。
在这里插入图片描述
不要在索引列上进行运算操作， 索引将失效

explain select * from tb_seller where name = '阿里巴巴' and STATUS='1' and address='北京市'

在这里插入图片描述
字符串不加单引号，造成索引失效。

explain select * from tb_seller where name = '阿里巴巴' and STATUS=1

在查询时，没有对字符串加单引号，MySQL的查询优化器，会自动的进行类型转换，造成索引失效。

在这里插入图片描述
尽量使用覆盖索引，避免select 星

尽量使用覆盖索引（只访问索引的查询（索引列完全包含查询列）），减少select * 。使用 *会回表查询
在这里插入图片描述

如果查询列，超出索引列，也会降低性能。
在这里插入图片描述

  • using index ：使用覆盖索引的时候就会出现
  • using where：在查找使用索引的情况下，需要回表去查询所需的数据
  • using index condition：查找使用了索引，但是需要回表查询数据
  • using index ; using where：查找使用了索引，但是需要的数据都在索引列中能找到，所以不需要回表查询数据

用or分割开的条件， 如果or前的条件中的列有索引，而后面的列中没有索引，那么涉及的索引都不会被用到。

示例，name字段是索引列 ， 而createtime不是索引列，中间是or进行连接是不走索引的 ：

explain select * from tb_seller where name='程序员' or createtime = '2088-01-01 12:00:00'

以%开头的Like模糊查询，索引失效

解决方案 ：

通过覆盖索引来解决

explain select name  from tb_seller WHERE name like '%科技%'

如果MySQL评估使用索引比全表更慢，则不使用索引。

一般来说数据库重复字段太多就会使用全表而不使用索引

is NULL ， is NOT NULL 有的话索引失效。

in 走索引， not in 索引失效。

单列索引和复合索引

尽量使用复合索引，而少使用单列索引 。

create index idx_seller_name on tb_seller(name);
create index idx_seller_status on tb_seller(status);
create index idx_seller_address on tb_seller(address);

explain select * from tb_seller where name = '阿里巴巴' and STATUS='1' and address='北京市'

因为数据库会选择一个最优的索引（辨识度最高索引）来使用，并不会使用全部索引 。在这里插入图片描述

查看索引使用情况

show status like 'Handler_read%';	

show global status like 'Handler_read%';

在这里插入图片描述
Handler_read_first：索引中第一条被读的次数。如果较高，表示服务器正执行大量全索引扫描（这个值越低越好）。

Handler_read_key：如果索引正在工作，这个值代表一个行被索引值读的次数，如果值越低，表示索引得到的性能改善不高，因为索引不经常使用（这个值越高越好）。

Handler_read_next ：按照键顺序读下一行的请求数。如果你用范围约束或如果执行索引扫描来查询索引列，该值增加。

Handler_read_prev：按照键顺序读前一行的请求数。该读方法主要用于优化ORDER BY … DESC。

Handler_read_rnd ：根据固定位置读一行的请求数。如果你正执行大量查询并需要对结果进行排序该值较高。你可能使用了大量需要MySQL扫描整个表的查询或你的连接没有正确使用键。这个值较高，意味着运行效率低，应该建立索引来补救。

Handler_read_rnd_next：在数据文件中读下一行的请求数。如果你正进行大量的表扫描，该值较高。通常说明你的表索引不正确或写入的查询没有利用索引。

语句优化

大批量导入数据

主键顺序插入

因为InnoDB类型的表是按照主键的顺序保存的，所以将导入的数据按照主键的顺序排列，可以有效的提高导入数据的效率。如果InnoDB表没有主键，那么系统会自动默认创建一个内部列作为主键，所以如果可以给表创建一个主键，将可以利用这点，来提高导入数据的效率。

当使用load 命令导入数据的时候，适当的设置可以提高导入的效率。

load data local infile 'D:/Java/go/sql1.log' into table `tb_user_2` fields terminated by ',' lines terminated by '\n'
//脚本位置，表名，分隔

在这里插入图片描述
关闭唯一性校验
在导入数据前执行 SET UNIQUE_CHECKS=0，关闭唯一性校验，在导入结束后执行SET UNIQUE_CHECKS=1，恢复唯一性校验，可以提高导入的效率。

手动提交事务
如果应用使用自动提交的方式，建议在导入前执行 SET AUTOCOMMIT=0，关闭自动提交，导入结束后再执行 SET AUTOCOMMIT=1，打开自动提交，也可以提高导入的效率。

优化insert语句

尽量使用多个值表的insert语句

原方案：

insert into tb_test values(1,'Tom');
insert into tb_test values(2,'Cat');
insert into tb_test values(3,'Jerry');

优化后的方案为 ：

insert into tb_test values(1,'Tom'),(2,'Cat')，(3,'Jerry');

在事务中进行数据插入。

start transaction;
insert into tb_test values(1,'Tom');
insert into tb_test values(2,'Cat');
insert into tb_test values(3,'Jerry');
commit;

数据有序插入

insert into tb_test values(1,'Tom');
insert into tb_test values(2,'Cat');
insert into tb_test values(3,'Jerry');
insert into tb_test values(4,'Tim');
insert into tb_test values(5,'Rose');

优化order by语句

所有不是通过索引直接返回排序结果的排序都叫 FileSort 排序。
在这里插入图片描述
解决方案：尽量统一排序，使用覆盖索引。
在这里插入图片描述

优化group by 语句

由于GROUP BY 实际上也同样会进行排序操作，而且与ORDER BY 相比，GROUP BY 主要只是多了排序之后的分组操作。

解决方案：

  1. 避免排序结果的消耗。
explain select age,count(*) from emp group by age order by null;

在这里插入图片描述

  1. 创建索引
CREATE index idx_emp_age_salary on emp(age, salary);

尽量使用自增主键

因为使用自增主键更好的让B+Tree树结构排序，如果插入UUID会导致叶子节点分裂太多

子查询

解决方案：尽量不使用子查询，使用多表查询，因为MySQL不需要在内存中创建临时表来完成这个逻辑上的查询工作。

or优化

如果要利用索引，则OR之间的每个条件列都必须用到索引 ， 而且不能使用到复合索引； 如果没有索引，则应该考虑增加索引，建议使用 union 替换 or

explain select * from emp where id = 1 or age = 30;

在这里插入图片描述

explain select * from emp where id = 1 union select * from emp where id = 10;

在这里插入图片描述

优化分页查询

一般分页查询时，通过创建覆盖索引能够比较好地提高性能。一个常见又非常头疼的问题就是 limit 2000000,10 ，此时需要MySQL排序前2000010 记录，仅仅返回2000000 - 2000010 的记录，其他记录丢弃，查询排序的代价非常大 。
在这里插入图片描述

解决方案：

  1. 在索引上完成排序分页操作，最后根据主键关联回原表查询所需要的其他列内容。

在这里插入图片描述

  1. 该方案适用于主键自增的表，可以把Limit 查询转换成某个位置的查询 。

在这里插入图片描述

使用SQL提示

SQL提示，是优化数据库的一个重要手段，简单来说，就是在SQL语句中加入一些人为的提示来达到优化操作的目的。

  1. USE INDEX在查询语句中表名的后面，添加 use index 来提供希望MySQL去参考的索引列表（非强制性），就可以让MySQL不再考虑其他可用的索引。
    在这里插入图片描述
  2. IGNORE INDEX 忽略一个或多个索引
explain select * from tb_seller ignore index(idx_seller_name_sta_addr) where name = '小米科技';
  1. FORCE INDEX 强制性指定索引
    在这里插入图片描述

Mysql锁问题

锁是计算机协调多个进程或线程并发访问某一资源的机制（避免争抢）。

锁的分类：

从对数据操作的粒度分 ：

  1. 表锁：操作时，锁整个表
  2. 行锁：操作时，锁当前操作行
    在这里插入图片描述

从对数据库操作分为：

  1. 读锁（共享锁）：针对同一个数据，多个读操作不影响。写操作会阻塞。
  2. 写锁（排他锁）：当前锁没释放之前，阻塞所有读，写操作
加读锁 ： lock table table_name read;

加写锁 ： lock table table_name write；

unlock TABLE

简而言之，就是读锁会阻塞写，但是不会阻塞读。而写锁，则既会阻塞读，又会阻塞写。

无索引行锁升级为表锁

间隙锁

  • 用范围条件，而不是使用相等条件检索数据，并请求共享或排他锁时，InnoDB会给符合条件的已有数据进行加锁；对于键值在条件范围内但并不存在的记录，叫做 “间隙（GAP）” ， InnoDB也会对这个 “间隙” 加锁，这种锁机制就是所谓的间隙锁（Next-Key锁） 。
update user set age = 10 where id < 4 // 4以下都被锁

间隙锁避免了幻读现象，因为修改阻塞

解决方案：缩小查询

InnoDB 行锁争用情况

show  status like 'innodb_row_lock%';

在这里插入图片描述

Innodb_row_lock_current_waits: 当前正在等待锁定的数量

Innodb_row_lock_time: 从系统启动到现在锁定总时间长度

Innodb_row_lock_time_avg:每次等待所花平均时长

Innodb_row_lock_time_max:从系统启动到现在等待最长的一次所花的时间

Innodb_row_lock_waits: 系统启动后到现在总共等待的次数


当等待的次数很高，而且每次等待的时长也不小的时候，我们就需要分析系统中为什么会有如此多的等待，然后根据分析结果着手制定优化计划。

总结：
虽然inoodb的行锁耗费性能高了点但是在整体并发处理能力方面要远远高于MyISAM的表锁的，但是，InnoDB的行级锁同样也有其脆弱的一面，当我们使用不当的时候，可能会让InnoDB的整体性能表现不仅不能比MyISAM高，甚至可能会更差。

优化建议：

  1. 尽可能让所有数据检索都能通过索引来完成，避免无索引行锁升级为表锁。
  2. 合理设计索引，尽量缩小锁的范围
  3. 尽可能减少索引条件，及索引范围，避免间隙锁
  4. 尽量控制事务大小，减少锁定资源量和时间长度
  5. 尽可使用低级别事务隔离（但是需要业务层面满足需求）

日志

错误日志

错误日志是 MySQL 中最重要的日志之一，它记录了当 mysqld 启动和停止时，以及服务器在运行过程中发生任何严重错误时的相关信息。当数据库出现任何故障导致无法正常使用时，可以首先查看此日志。

该日志是默认开启的 ， 默认存放目录为 mysql 的数据目录（var/lib/mysql）, 默认的日志文件名为 hostname.err（hostname是主机名）。

二进制日志

概述
二进制日志（BINLOG）记录了所有的 DDL（数据定义语言）语句和 DML（数据操纵语言）语句，但是不包括数据查询语句。此日志对于灾难时的数据恢复起着极其重要的作用，MySQL的主从复制， 就是通过该binlog实现的。

二进制日志，默认情况下是没有开启的，需要到MySQL的配置文件中开启，并配置MySQL日志的格式。

慢查询日志

慢查询日志记录了所有执行时间超过参数 long_query_time 设置值并且扫描记录数不小于 min_examined_row_limit 的所有的SQL语句的日志。long_query_time 默认为 10 秒，最小为 0， 精度可以到微秒。 my.ini

# 该参数用来控制慢查询日志是否开启， 可取值： 1 和 0 ， 1 代表开启， 0 代表关闭
slow_query_log=1 

# 该参数用来指定慢查询日志的文件名
slow_query_log_file=slow_query.log

# 该选项用来配置查询的时间限制， 超过这个时间将认为值慢查询， 将需要进行日志记录， 默认10s
long_query_time=10
mysql高级篇学习笔记
生命不息，编程不止的博客
08-19 8139
MySQL高级篇学习借鉴笔记
Mysql高级
IT__LS的博客
08-22 1976
Mysql
MySQL 高级查询
热门推荐
看花容易绣花难
02-12 2万+
MySQL 高级查询
Mysql高级：函数
weixin_51992178的博客
10-28 2413
mysql可以自定义函数，并使用自定义的函数进行数据处理，唯一比较麻烦的就是函数定义后不能修改，只能删了重新写。
MySQL 高级函数
weixin_41312759的博客
12-05 1660
MySQL高级函数IFNULL(v1,v2)用于判断一个表达式的值是否为NULL，如果MySQL高级函数IFNULL(v1,v2)用于判断一个表达式的值是否为NULL，如果为NULL则返回另一个表达式的值，否则返回第一个表达式的值。否则返回第一个表达式的值。这将返回一个结果集，其中包含每个员工的id、name和age，以及一个名为row_number的列，该列包含根据年龄排序后的唯一数字。这个示例中，我们使用IF()函数来判断1是否大于0，如果为真则返回’True’，否则返回’False’。
MySQL高级操作
qq_52262831的博客
02-07 6615
目录 一、数据库设计之三范式 二、外键SQL语句的编写 三、分组和聚合函数的组合使用 1. 数据准备 2. SQL语句编写 四、将查询结果插入到其他表中 1. 创建商品分类表 2. 把goods表中的商品分类添加到商品分类表 五、使用连接更新表中某个字段数据 六、创建表并给某个字段添加数据（类似与四、五的整合） 1. 创建品牌表 2. 更新goods表中的品牌信息 七、修改goods表结构 八、远程登录MySQL数据库 1. 注释掉bind-address 2. 将mysql
MySQL高级SQL语句
qq_45088125的博客
06-24 1万+
对MySQL数据库的查询，除了基本的查询外，有时候需要对查询的结果集进行处理。例如只取10条数据、对查询结果进行排序或分组等等。使用SELECT语句可以将需要的数据从MySQL数据库中查询出来，如果对查询的结果进行排序，可以使用order by语句来对语句实现排序，并最终将排序的结果返回给用户。这个语句的排序不光可以针对某一个字段，也可以针对多个字段。语法： ASC是按照升序进行排序，是默认的排序方式，即ASC可以省略。 SELECT语句中如果没有指定具体的排序方式，则默认按ASC方式进行排序。 DESC
MySQL高级教程
weixin_44440364的博客
08-03 1083
本文主要介绍MySQL集群搭建和分库分表
MySQL高级面试题
三分强势七分暖的博客
11-13 5784
一、MySQL逻辑架构 1.Connectors Connectors，指的是不同语言中与SQL的交互。 2. 连接层 最上层是客户端的连接服务，采用 TCP/IP，该层有一个 线程池 ，每一个连接从线程池中获取线程，省去了创建和销毁线程的开销。 3.服务层 第二层架构主要完成大多数的核心服务功能，如SQL接口，并完成缓存的查询，SQL的分析和优化及部分内置函数的执行。 Management Serveices & Utilities： 系统管理和控制工具 SQL Interface:
MySQL 高级 loop循环
Leon_Jinhai_Sun的博客
12-01 6821
loop语句 LOOP 实现简单的循环，退出循环的条件需要使用其他的语句定义，通常可以使用 LEAVE 语句实现，具体语法如下： [begin_label:] LOOP statement_list END LOOP [end_label] 如果不在 statement_list 中增加退出循环的语句，那么 LOOP 语句可以用来实现简单的死循环。 leave语句 用来从标注的流程构造中退出，通常和 BEGIN ... END 或者循环一起使用。下面是一个使用 LOOP 和 LEAVE
2021年MySQL高级教程视频.rar
09-24
01.MySQL高级课程内容介绍.mp4 02.MySQL高级Linux上安装MySQL.avi 03.MySQL高级启动及登录MySQL.avi 04.MySQL高级索引概述.avi 05.MySQL高级索引优势和劣势.avi 06.MySQL高级索引数据结构.avi 07.MySQL高级索引数据...
mysql高级参考课件（供实操参考）.zip
01-18
以下是基于提供的"mysql高级参考课件（供实操参考）.zip"压缩包文件中的可能涵盖的一些关键知识点： 1. **SQL语言的高级应用**： - 子查询：学习如何在SELECT语句中嵌套查询，用于获取满足特定条件的数据。 - ...
MySQL高级教程视频
04-28
MySQL 高级 - 课程内容介绍.mp4 │ │ 02. MySQL 高级 - Linux上安装MySQL.avi │ │ 03. MySQL 高级 - 启动及登录MySQL.avi │ │ 04. MySQL 高级 - 索引 - 概述.avi │ │ 05. MySQL 高级 - 索引 - 优势和劣势....
mysql高级视频教程百度云(2019).txt
12-05
MySQL高级 MySQL高级_思维导图.pdf 63.MySQL高级_主从复制.avi 62.MySQL高级_行锁总结.avi 61.MySQL高级_如何锁定一行.avi 60.MySQL高级_间隙锁危害.avi 59.MySQL高级_索引失效行锁变表锁.avi 58....
Mysql高级-day04.pdf
04-15
以下内容将详细介绍MySQL高级使用中涉及到的常用工具、日志管理、数据备份与迁移、以及主从复制相关的知识点。 ### MySQL常用工具 #### mysql命令行客户端 mysql是MySQL数据库的命令行工具，用于从命令行界面与...
GIST诊治现状.pdf
最新发布
06-07
GIST诊治现状.pdf
(全套求职必备)flash简历模板下载.doc
06-07
(全套求职必备)flash简历模板下载.doc
基于MATLAB App的ADALM-PLUTO扫描频谱与网络分析仪.zip
06-07
基于MATLAB App的ADALM-PLUTO扫描频谱与网络分析仪.zip
excel学习心得.doc
06-07
excel学习心得.doc
MySQL高级编程实战技巧与笔记
资源摘要信息:"MySQL高级笔记.zip是一个压缩文件，包含了关于MySQL数据库系统的高级使用和管理技术的笔记。从标题和描述来看，这个压缩包很可能包含了一系列详细的学习材料，专门针对想要深入学习MySQL的技术人员。...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值