MySql笔记
索引是用来加快查询速率的,约束是对插入表的数据进行一个约束。
一、MySQL基础
1. SQL
SQL分类
1.1 DDL:
数据定义语言,用来定义数据库对象(数据库,表,字段)
1.2. DML:
数据操作语言,用来对数据库表中的数据进行增删改)
1.3. DQL:
数据查询语言,用来查询数据库中表的记录
- 基本查询
- 条件查询(WHERE)
- 聚合查询(count,max,min,avg,sum)
null值不参与所有聚合函数运算
- 分组查询(GROUP BY)
执行顺序:where > 聚合函数 > having
分组之后,查询的字段一般为聚合函数和分组字段,查询其他字段无任何意义
- 排序查询(ORDER BY)
如果是多字段排序,当第一个字段值相同时,才会根据第二个字段进行排序
- 分页查询(LIMIT)
1.4. DCL:
数据控制语言,用来创建数据库用户,控制数据库的访问权限
## 用户管理
# 1.查询用户
use user;
select * from user;
# 2.创建用户
create user '用户名'@'主机名' identified by '密码';
# 3.修改用户密码
alter user '用户名'@'主机名' identified with mysql_native_password by '新密码';
# 4.删除用户
drop user '用户名'@'主机名';
## 权限控制
# 1.查询权限
show grant for '用户名'@'主机名';
# 2.授予权限
grant 权限列表 on 数据库名.表名 to '用户名'@'主机名';
# 3.撤销权限
revoke 权限列表 on 数据库名.表名 from '用户名'@'主机名';
多个权限之间,使用逗号分隔
授权时,数据库名和表名可以使用*进行通配,代表所有
2.函数
2.1 字符串函数
# concat(s1,s2,..,sn):拼接
# lower(str):转为小写
# upper(str):转为大写
# lpad(str,n,pad):左填充,用字符串pad对str的左边进行填充,达到n个字符串长度
# rpad(str,n,pad):右填充,用字符串pad对str的右边进行填充,达到n个字符串长度
# trim(str):去掉字符串头部和尾部的空格
# substring(str,start,len):返回从字符串str从start位置起的len个长度的字符串
select 函数(参数);
2.2 数值函数
# ceil(x) 向上取整
# floor(x) 向下取整
# mod(x,y) 返回x/y的模
# rand() 返回0-1内的随机数
# round(x,y) 求参数x的四舍五入的值,保留y位小数
2.3 日期函数
# curdate() 返回当前日期
# curtime() 返回当前时间
# now() 返回当前日期和时间
# year(date) 返回指定date的年份
# month(date) 返回指定date的月份
# day(date) 返回指定date的日期
# date_add(date,interval expr type) 返回一个日期/时间值加上一个时间间隔expr后的时间值
# datediff(date1,date2) 返回起始时间date1和结束时间date2之间的天数
2.4 流程函数
可以在SQL语句中实现条件筛选,从而提高语句的效率。
# if(value,t,f) 如果value为true,则返回t,否则返回f
# ifnull(value1,value2) 如果value1不为空,返回value1,否则返回value2
# case when [val1] then [res1] ...else [default] end 如果val1为true,返回res1, ...否则返回default默认值
# case [expr] when [val1] then [res1] ...else[default] end 如果expr的值等于val1,返回res1,...否则返回default默认值
3.约束
3.1.概念:
约束是作用于表中字段上的规则,用于限制存储在表中的数据。
3.2.目的:
保证数据库中数据的正确、有效性和完整性。
3.3.分类:
- 非空约束、
- 唯一约束、
- 主键约束、
- 默认约束、
- 检查约束(CHECK)、
- 外键约束(用来让两张表的数据之间建立联系,保证数据的一致性和完整性)。
##添加外键
alter table 表名 add constraint 外键名称 foreign key(外键字段名) references 主表(主表列名);
##删除外键
alter table 表名 add drop foreign key 外键名称;
注意:约束是作用于表中字段上的,可以在创建表/修改表的时候添加约束
4.多表查询
4.1多表关系
项目开发中,在进行数据库表结构设计时,会根据业务需求及业务模块之间的关系,分析并设计表结构,由于业务之间相互关联,所以各个表结构之间也存在着各种联系,基本上分为三种:
- 一对多(多对一)
案例:部门与员工的关系
实现:在多的一方建立外键,指向一的一方的主键 - 多对多
案例:学生与课程的关系
实现:建立第三张中间表,中间表至少包含两个外键,分别关联两方主键 - 一对一
案例:用户与用户详情的关系
关系:一对一关系,多用于单表拆分,将一张表的基础字段放在一张表中,其他详情字段放在另一张表中,以提升操作效率
实现:在任意一方加入外键,关联另一方的主键,并且设置外键为唯一的(UNIQUE)
4.2多表查询概述
- 概述:指从多张表中查询数据
- 笛卡尔积:笛卡尔乘积是指在数学中,两个集合A集合和B集合的所有组合情况。
(在多表查询时,需要消除无效的笛卡尔积) - 多表查询分类
- 连接查询
① 内连接:相当于查询A、B交集部分数据
② 外连接:
左外连接:查询左表所有数据,以及两张表交集部分数据
右外连接:查询右表所有数据,以及两张表交集部分数据
③ 自连接:当前表与自身的连接查询,自连接必须使用表别名 - 子查询
- 连接查询
4.3内连接
内连接查询语法:
- 隐式内连接
select 字段列表 from 表1,表2 where 条件...; ##在这里插入代码片
- 显式内连接
select 字段列表 from 表1 inner join 表2 on 条件...; ##在这里插入代码片
内连接查询的是两张表交集的部分
4.4外连接
外连接查询语法:
- 左外连接
- 右外连接
4.5自连接
自连接查询,可以是内连接查询,也可以是外连接查询
4.6联合查询-union,union all
对于union查询,就是把多次查询的结果合并出来,形成一个新的查询结果集。
对于联合查询的多张表的列数必须保持一致,字段类型也需要保持一致
union all 会将全部的数据直接合并在一起,union会对合并之后的数据去重
4.7子查询
- 概念:SQL语句中嵌套SELECT语句,称为
嵌套查询,又称子查询。
子查询外部的语句可以是INSERT/UPDATE/DELETE/SELECT中的任意一个。 - 根据子查询结果不同,分为:
- 标量子查询(子查询结果为单个值)
常用的操作符:= <> > >= < <= - 列子查询(子查询结果为一列)
常用的操作符:IN、NOT IN、ANY、SOME、ALL - 行子查询(子查询结果为一行)
常用的操作符:= 、<> 、IN 、NOT IN - 表子查询(子查询结果为多行多列)
常用的操作符:IN
- 标量子查询(子查询结果为单个值)
- 根据子查询位置,分为:WHERE之后、FROM之后、SELECT之后
5.事务
5.1简介
事务是一组操作的集合,它是一个不可分割的工作单位,事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求,即这些操作要么同时成功,要么同时失败。
默认MySQL的事务是自动提交的,也就是说,当执行一条DML语句时,MySQL会立即隐式的提交事务。
5.2 事务四大特性
- 原子性:事务是不可分割的最小操作单元,要么全部成功,要么全部失败。
- 一致性:事务完成时,必须使所有的数据都保持一致状态。
- 隔离性:数据库系统提供的隔离机制,保证事务在不受外部并发操作影响的独立环境下运行。
- 持久性:事务一旦提交或回滚,它对数据库中的数据的改变就是永久的。
5.3 并发事务问题
脏读:一个事务读到另一个事务还没有提交的数据。不可重复读:一个事务先后读取同一条记录,但两次读取的数据不同,称之为不可重复读。幻读:一个事务按照条件查询数据时,没有对应的数据行,但是在插入数据时,又发现这行数据已经存在,好像出现了”幻影“。
5.4 事务隔离级别
READ UNCOMMITTED√√√READ COMMITTED×√√REPEATABLE READ(默认)××√SERIALIZABLE×××
# 查看事务隔离级别
SELECT @@TRANSACTION_ISOLATION;
# 设置事务隔离级别
SET [SESSION|GLOBAL] TRANSACTION LEVEL {READ UNCOMMITTED|READ COMMITTED|REPEATABLE READ|SERIALIZABLE}
事务隔离级别越高,数据越安全,但是性能越低
二、进阶
2.1 MySQL体系结构

2.2 存储引擎
- 简介
存储引擎就是存储数据、建立索引、更新/查询数据等技术的实现方式。存储引擎是基于表的,而不是基于库的,所以存储类型也可被称为表类型。 - innoDB
- 介绍:
innoDB是一种兼顾高可靠性和高性能的通用存储引擎,在MySQL5.5之后,innoDB是默认的MySQL存储引擎 - 特点:
增删改操作遵循ACID模型,支持事务
行级锁,提高并发访问性能
支持外键foreign key约束,保证数据的完整性和正确性。 - 文件
xxx.ibd: xxx代表的是表名,innoDB引擎的每张表都会对应这样一个表空间文件,存储该表的表结构(frm、sdi)、数据和索引。
参数:innodb_file_per_table

- 介绍:
- MyISAM
- 介绍:MyISAM是MySQL早期的默认存储引擎
- 特点:
不支持事务,不支持外键
支持表锁,不支持行锁
访问速度快
- Memory
- 介绍:Memory引擎的表数据是存储在内存中的,由于受到硬件问题、或断电问题的影响,只能将这些表作为临时表或缓存使用。
- 特点:内存存放,hash索引(默认)
- 文件:xxx.sdi:存储表结构信息
- 存储引擎选择
- innoDB:存储业务系统中对于事务、数据完整性要求较高的核心数据。把数据存放在硬盘。
- MyISAM:存储业务系统中的非核心事务
- Memory:将所有数据保存在内存中,访问速度快,通常用于临时表及缓存。
2.3 索引
2.3.1 索引概述
- 介绍
索引(index)是帮助MySQL高效获取数据的数据结构(有序)。在数据之外,数据库系统还维护着满足特定查找算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构上实现高级查找算法,这种数据结构就是索引。 - 优缺点

2.3.2 索引结构
MySQL的索引是在存储引擎层实现的,不同的存储引擎有不同的结构,主要包含以下几种:

我们平常所说的索引,如果没有特别指明,都是指B+树结构组织的索引。
- 二叉树
二叉树缺点:顺序插入时,会形成一个链表,查询性能大大降低。大数据量情况下,层级越深,检索速度慢。
红黑树:大数据量情况下,层级越深,检索速度慢 - B-Tree(
多路平衡查找树) - B+Tree:
- 所有数据都会出现在叶子节点,
- 叶子节点会形成一个单向链表,
- 非叶子节点只是起到一个索引的作用。
- MySQL索引数据结构对经典的B+Tree进行了优化。在原B+Tree的基础上,增加一个指向相邻叶子节点的链表指针,就形成了带有顺序指针的B+Tree,提高区间访问的性能。
- Hash
- 哈希索引就是采用一定的hash算法,将键值换算成新的hash值,映射到对应的槽位上,然后存储在hash表中。
- 如果两个(或多个)键值,映射到一个相同的槽位上,他们就产生了hash冲突(也称为hash碰撞),可以通过链表来解决。
- Hash索引特点
① Hash索引只能用于对等比较(= , in),不支持范围查询(between,>,<,…)
② 无法利用索引完成排序操作
③ 查询效率高,通常只需要一次检索就可以了,效率通常要高于B+tree索引
2.3.3 索引分类

- 在InnoDB存储引擎中,根据索引的存储形式,又可以分为以下两种:

- 聚集索引选取规则:
- 如果存在主键,主键索引就是聚集索引。
- 如果不存在主键,将使用第一个唯一(UNIQUE)索引作为聚集索引
- 如果表没有主键,或没有合适的唯一索引,则InnoDB会自动生成一个rowid作为隐藏的聚集索引。
2.3.4 索引语法
# 创建索引
create [unique|fulltext] index 索引名字 on 表名(字段名,...);
# 查看索引
show index from 表名;
# 删除索引
drop index 索引名称 on 表名;
2.3.5 SQL性能分析
- SQL执行频率
## SQL执行频率:MySQL客户端连接成功后,通过show [session/global] status 命令可以提供服务器状态信息。
# 通过如下指令,可以查看当前数据库的insert、update、delete、select的访问频次:
show global status like 'Com_______';
- 慢查询日志
- 慢查询日志记录了所有执行时间超过指定参数(long_query_time,单位:秒,默认10秒)的所有SQL语句的日志。
- MySQL的慢查询日志默认没有开启,需要在MySQL的配置文件(/etc/my.cnf)中配置如下信息:
# 开启MySQL慢查询开关
slow_query_log = 1;
# 设置慢日志的时间为2秒,SQL语句执行时间超过2秒,就会视为慢查询,记录慢查询日志
long_query_time = 2;
配置完毕之后,通过以下指令重新启动MySQL服务器进行测试,查看慢日志文件中记录的信息/var/lib/mysql/localhost-slow.log
- profile详情
show profiles能够在做SQL优化时帮助我们了解时间都耗费到哪里去了。
# 通过have_profiling参数,能够看到当前MySQL是否支持profile操作:
select @@have_profiling;
# 默认profiling是关闭的,可以通过set语句在session/global级别开启profiling
set profiling = 1;
# 查看每一条SQL的耗时基本情况
show profiles;
# 查看指定query_id的SQL语句各个阶段的耗时情况
show profile for query query_id;
# 查看指定query_id的SQL语句CPU的使用情况
show profile cpu for query query_id;
- explain 查看SQL语句的执行计划
2.3.6 索引使用
- 索引失效情况
- 最左前缀法则
如果索引了多列(联合索引),要遵循最左前缀法则。最左前缀法则指的是查询从索引的最左列开始,并且不跳过索引中的列。
如果跳跃某一列,索引将部分失效(后面的字段索引失效)。 - 范围查询
联合索引中,出现范围查询(>,<),范围查询右侧的列失效 - 索引列运算
不要在索引列上进行运算操作,索引将失效。 - 字符串不加引号
- 模糊查询
如果仅仅是尾部模糊匹配,索引不会失效。如果是头部模糊匹配,索引失效。 - or连接的条件
用or分隔开的条件,如果or前的条件中的列有索引,而后面的列中没有索引,那么涉及到的索引都不会被用到 - 数据分布影响
如果MySQL评估使用索引比全表更慢,则不使用索引
- SQL提示
SQL提示,是优化数据库的一个重要手段,简单来说,就是在SQL语句中加入一些认为的提示来达到优化操作的目的。- use index
- ignore index
- force index
- 覆盖索引
尽量使用覆盖索引(查询使用了索引,并且需要返回的列,在该索引中已经全部能够找到),减少使用select *。- using index condition:查找使用了索引,但是需要回表查询数据
- using where;using index:查找使用了索引,但是需要的数据都在索引列中能找到,所以不需要回表查询数据
- 前缀索引
当字段类型为字符串(varchar,text等),有时候需要索引很长的字符串,这会让索引变得很大,查询时,浪费大量的磁盘IO,影响查询效率。此时可以只将字符串的一部分前缀,建立索引,这样可以大大节约索引空间,从而提高索引效率。 - 单列索引和联合索引
单列索引:即一个索引只包含单个列
联合索引:即一个索引包含了多个列
在业务场景中,如果存在多个查询条件,考虑针对于查询字段建立索引时,建议建立联合索引,而非单列索引。
2.3.7 索引设计原则
- 针对数据量较大,且查询比较频繁的表建立索引。
- 针对于常作为查询条件(select)、排序(order by)、分组(group by)操作的字段建立索引。
- 尽量选择区分度高的列作为索引,尽量建立唯一索引,区分度越高,使用索引的效率越高。
- 如果是字符串类型的字段,字段的长度较长,可以针对于字段的特点,建立前缀索引。
- 尽量使用联合索引,减少单列索引,查询时,联合索引很多时候可以覆盖索引,节省存储空间,避免回表,提高查询效率。
- 要控制索引的数量,索引并不是多多益善,索引越多,维护索引结构的代价也就越大,会影响增删改的效率。
- 如果索引列不能存储NULL值,请在创建表时使用NOT NULL约束它
2.4 SQL优化
2.4.1. insert优化
- 批量插入
- 手动提交事务
- 主键顺序插入
- 大批量插入数据
如果一次性需要插入大批量数据,使用insert语句插入性能较低,此时可以使用MySQL数据库提供的load指令进行插入。
`主键顺序插入性能高于乱序插入`
2.4.2 主键优化
1. 数据组织方式
在InnoDB存储引擎中,表数据都是根据主键顺序组织存放的,这种存储方式的表称为`索引组织表`
- 页分裂(乱序插入)
页可以为空,页可以填充一半,也可以填充100%,每个页包含了2-N行数据(如果一行数据过大,会行溢出),根据主键排列。
- 页合并
当删除一行记录时,实际上记录并没有被物理删除,只是记录被标记为删除并且它的空间变得允许被其他记录声明使用。
当页中删除的记录达到50%时,InnoDB会开始寻找最靠近的页看看是否可以将两个页合并以优化空间使用
2. 主键设计原则
- 满足业务需求的情况下,尽量降低主键的长度。
- 插入数据时,尽量选择顺序插入,选择使用AUTO_INCREMENT自增主键。
- 尽量不要使用UUID做主键或是其他自然主键
- 业务操作时,避免对主键的修改。
2.4.3 order by优化
- Using filesort:通过表的索引或全表扫描,读取满足条件的数据行,然后在排序缓冲区sort buffer 中完成排序操作,所有不是通过索引直接返回排序结果的排序都叫FileSort排序。
- Using index:通过有序索引顺序扫描直接返回有序数据,这种情况即为using index,不需要额外排序,操作效率高。
- 根据排序字段建立合适的索引,多字段排序时,也遵循最左排序法则。
- 尽量使用覆盖索引。
- 多字段排序,一个升序,一个降序,此时需要联合索引在创建时的规则。
- 如果不可避免的出现filesort,大数据量排序时,可以适当增大排序缓冲区大小sort_buffer_size(默认256k)
2.4.4 group by优化
- 在分组操作时,可以通过索引来提高效率。
- 分组操作时,索引的使用也是满足最左前缀法则的
2.4.5 limit优化
优化思路:一般分页查询时,通过创建覆盖索引能够比较好的提高性能,可以通过覆盖索引加子查询形式进行优化。
2.4.6 count优化
- MyISAM引擎把一个表的总行数存在了磁盘上,因此执行count(*)的时候会直接返回这个数,效率很高。
- InnoDB引擎在执行count(*)的时候,需要把数据一行一行地从引擎里面读出来,然后累积计数。
- 优化思路:自己计数。
按照效率排序的话,count(字段) < count(主键 id) < count(1) < count(*),所以尽量使用count(*)
2.4.7 update优化
InnoDB的行锁是针对索引加的锁,不是针对记录加的锁,并且该索引不能失效,否则会从行锁升级为表锁。
总结

3万+

被折叠的 条评论
为什么被折叠?



