MySQL总结

最新推荐文章于 2023-01-16 16:52:22 发布

原创最新推荐文章于 2023-01-16 16:52:22 发布 · 225 阅读

CC 4.0 BY-SA版权

本文深入探讨数据库索引的工作原理，包括B树结构、索引类型如普通索引、唯一索引、主键索引及组合索引，以及如何通过正确使用索引提升SQL查询效率。同时，介绍了SQL语句的编写技巧，存储过程、视图和触发器的运用，以及动态SQL和执行计划的重要性。

一. 索引

定义：数据库中专门用于帮助用户快速查询数据的一种数据结构（B树）。类似于字典中的目录，查找字典内容时可以根据目录查找到数据的存放位置，然后直接获取即可。索引是唯一的。

功能：

约束
加速查找：MySQL中索引以B-tree方式排列（找1024个数据只需要10次），如果是
字符串作为索引，则会先把字符串转化为数字，再将数字以B-tree方式排列在硬盘中。

MySQL中常见索引有：

普通索引：加速查询
唯一索引：加速查询和唯一约束（此索引列的值不能重复，可含null）
主键索引：加速查询和唯一约束（此索引列的值不能重复，不可含null）
组合索引

1、普通索引

普通索引仅有一个功能：加速查询

a. 创建表+索引
	create table in1(
    		nid int not null auto_increment primary key,
    		name varchar(32) not null,
   			email varchar(64) not null,
    		extra text,
    		index ix_name (name)     # 将name列创建为索引，ix_name为索引的名字。
	)

b.创建索引
	create index ix_name on table_name(column_name)   # create index 索引名 on 表名(列名)

c.删除索引
	drop ix_name on table_name;

d.查看索引
	show index from table_name;

注意：对于创建索引时如果是blob 和 text 类型，必须指定length。

2、唯一索引

唯一索引有两个功能：加速查询和唯一约束（此索引列的值不能重复，可含null）

a.创建表+索引
	create table in1(
    		nid int not null auto_increment primary key,
    		name varchar(32) not null,
    		email varchar(64) not null,
    		extra text,
    		unique ix_name (name)     # 创建唯一索引
	)

b.创建唯一索引
	create unique index 索引名 on 表名(列名)

c.删除唯一索引
	drop unique index 索引名 on 表名

3、主键索引

主键有两个功能：加速查询和唯一约束（不可含null）

一张表只能有一个主键，唯一的，不能重复的，非空的，自增的。
一般情况下，自增列设置为主键。
两列数据可以联合作为主键。

a.创建表+主键
方式一：
	create table in1(
    		nid int not null auto_increment primary key,
    		name varchar(32) not null,
    		email varchar(64) not null,
    		extra text,
    		index ix_name (name)
	)

方式二：
	create table in1(
    		nid int not null auto_increment,
    		name varchar(32) not null,
   			email varchar(64) not null,
    		extra text,
    		primary key(ni1),
    		index ix_name (name)
	)

b.创建主键
	alter table 表名 add primary key(列名);

c.删除主键
	alter table 表名 drop primary key;
	alter table 表名  modify  列名 int, drop primary key;

4、组合索引

组合索引是将n个列组合成一个索引
其应用场景为：频繁的同时使用n列来进行查询，如：where n1 = ‘alex’ and n2 = 666。

a.创建表
	create table in3(
    		nid int not null auto_increment primary key,
    		name varchar(32) not null,
    		email varchar(64) not null,
    		extra text
	)

b.创建组合索引
	create index ix_name_email on in3(name,email);

d.查找组合索引
	最左匹配
	select * from tb1 where name = ‘alex’                            # 走索引
	select * from tb1 where name = ‘alex’  and  email = ‘alex@dskj’  # 走索引
	select * from tb1 where email = ‘alex@dskj’                      # 不走索引

二. SQL语句

数据库级别：

show databases ;              # 查看当前数据库中都有那些数据，根目录都有那些文件夹
create databese 数据库名称 ;    # 创建数据库（UTF-8）
use 数据库名 ;                  # 使用选中的数据库，进入目录
drop databese 数据库名称 ;       # 删除数据库

数据表级别：

show tables ;   # 查看当前数据库下都有哪些表
desc 表名;       # 查看表的描述
create table 表名 (nid int , name varchar(20) , pwd varchar(64) ) ;   # 创建数据库表
drop table 表名;        # 删除表
delete from 表名;       # 清空表的内容
select * from 表名;     # 查看表中的所有数据

创建表：

create table tb1(
		nid int not null auto_increment primary key,
		name varchar(16),
		age int default 19      （最后一行不加逗号）
	)engine = innodb default charset = utf-8;

修改(alter)表：

添加列：alter table 表名 add 列名 类型
删除列：alter table 表名 drop column 列名
修改列：
    alter table 表名 modify column 列名 类型;  -- 类型
    alter table 表名 change 原列名 新列名 类型; -- 列名，类型


添加主键：
    alter table 表名 add primary key(列名);
删除主键：
    alter table 表名 drop primary key;
    alter table 表名 modify  列名 int, drop primary key;

# 外键： 两张表建立约束关系
添加外键：alter table 从表 add constraint 外键名称（形如：FK_从表_主表） foreign key 从表(外键字段) references 主表(主键字段);
删除外键：alter table 表名 drop foreign key 外键名称

修改默认值：ALTER TABLE testalter_tbl ALTER i SET DEFAULT 1000;
删除默认值：ALTER TABLE testalter_tbl ALTER i DROP DEFAULT;

数据行级别：

增

insert into 表名(name,age) value(‘alex’,18);  # 插入一条数据
insert into 表名(name,age) value(‘alex’,18),(‘eric’,19);   # 插入两条数据
insert into 表2（列名，列名） select （列名，列名）from 表1  # 将表1中的数据插入到表2中

删

delete from 表;
delete from 表 where id = 1 and name = ‘Alex’

改

update 表 set name = ‘Alex’ where id > 1;

查

selete * from 表;
selete * from 表 where id > 1;
selete nid,name,gender as gg from表 where id > 1;

a、条件

 select * from 表 where id > 1 and name != 'alex' and num = 12;
 select * from 表 where id between 5 and 16;
 select * from 表 where id in (11,22,33);
 select * from 表 where id not in (11,22,33);
 select * from 表 where id in (select nid from 表);

b、通配符

select * from 表 where name like 'ale%' ;  - ale开头的所有（多个字符串）
select * from 表 where name like 'ale_' ;  - ale开头的所有（一个字符）

c、限制

select * from 表 limit 5;          - 前5行
select * from 表 limit 4,5;         - 从第4行开始的5行
select * from 表 limit 5 offset 4    - 从第4行开始的5行 (一般用这个)

d、排序

select * from 表 order by 列 asc              - 根据 “列” 从小到大排列
select * from 表 order by 列 desc             - 根据 “列” 从大到小排列
select * from 表 order by 列1 desc,列2 asc    - 根据 “列1” 从大到小排列，如果相同则按列2从小到大排序

e、分组

select num from 表 group by num
select num,nid from 表 group by num,nid
select num,nid from 表  where nid > 10 group by num,nid order nid desc
select num,nid,count(*),sum(score),max(score),min(score) from 表 group by num,nid
select num from 表 group by num having max(id) > 10
特别的：group by 必须在where之后，order by之前

f、连表

无对应关系则不显示
select A.num, A.name, B.name from A,B Where A.nid = B.nid

无对应关系则不显示
select A.num, A.name, B.name  from A inner join B on A.nid = B.nid

A表所有显示，如果B中无对应关系，则值为null
select A.num, A.name, B.name from A left join B on A.nid = B.nid

B表所有显示，如果B中无对应关系，则值为null
select A.num, A.name, B.name from A right join B on A.nid = B.nid

g、组合

组合，自动处理重合
select nickname from A union select name from B

组合，不处理重合
select nickname from A union all select name from B

常用聚合函数：
count() 计数
sum() 求和
avg() 平均数
max() 最大值
min() 最小值

示例（部门人数）：

背景：
我们现在有一张dept_emp表共四个字段，分别是emp_no(员工编号)，dept_no(部门编号)，from_date(起始时间)，to_date(结束时间)，记录了员工在某一部门所处时间段，to_date等于9999-01-01的表示目前还在职。
问题：
我们现在想知道每个部门有多少名在职员工，步骤如下：
筛选在职员工 where to_date=‘9999-01-01’;
对部门进行分组group by dept_no
代码：

SELECT
  dept_no as 部门,
  count(emp_no) as 人数
FROM
  dept_emp 
WHERE
  to_date = '9999-01-01' 
GROUP BY
  dept_no

三. pymysql连接并操作数据库

import pymysql   # 导入pymysql模块

conn = pymysql.connect(host=“你的数据库地址”, user=“用户名”,password=“密码”,database=“数据库名”,charset=“utf8”)     # 连接database

cursor = conn.cursor()    # 得到一个可以执行SQL语句的光标对象

# 定义要执行的SQL语句
sql = """
CREATE TABLE USER1 (
id INT auto_increment PRIMARY KEY ,
name CHAR(10) NOT NULL UNIQUE,
age TINYINT NOT NULL
)ENGINE=innodb DEFAULT CHARSET=utf8;
"""
cursor.execute(sql)   # 执行SQL语句
cursor.close()        # 关闭光标对象
conn.close()          # 关闭数据库连接

增加：

		execute(sql语句，数据)                # 增加一条数据
		executemany(sql语句，[( ),( ),])      # 增加多条数据
		conn.commit( )

删除：

		execute(sql语句,…)
		conn.commit( )

修改：

		execute(sql语句,…)
		conn.commit( )

查询：

		execute(sql语句,…)
		fetchone( )
		fetchall( )

获取字典类型的数据：
在默认情况下cursor方法返回的是BaseCursor类型对象，BaseCursor类型对象在执行查询后一条记录的结果以列表表示，多条数据用元组表示。如果要返回字典(dict)表示的记录，就要设置cursorclass参数为

MySQLdb.cursors.DictCursor类。
		db=pymysql.connect(
   		 host=host,
   		 user=user,
   		 passwd=passwd,
    	 db=db,
   		 port=port,
   		 charset='utf8',
    	 cursorclass = pymysql.cursors.DictCursor
		)

四. 视图

视图是一个虚拟表（非真实存在），其本质是【根据SQL语句获取动态的数据集，并为其命名】，用户使用时只需使用【名称】即可获取结果集，并可以将其当作表来使用。为了让客户端写sql语句时简单些，相当于python中的函数.

1. 创建视图

--格式：CREATE VIEW 视图名称 AS  SQL语句

CREATE VIEW v1 AS 
SELET nid,name
FROM  A
WHERE  nid > 4

2. 删除视图

--格式：DROP VIEW 视图名称

DROP VIEW v1

3. 修改视图

-- 格式：ALTER VIEW 视图名称 AS SQL语句

ALTER VIEW v1 AS
SELET A.nid,B. NAME
FROM A
LEFT JOIN B 
ON A.id = B.nid
LEFT JOIN C 
ON A.id = C.nid
WHERE  A.id > 2 AND C.nid < 5

4. 使用视图

使用视图时，将其当作表进行操作即可，由于视图是虚拟表，所以无法使用其对真实表进行创建、更新和删除操作，仅能做查询用。

select * from v1

五. 存储过程：

存储过程是一个SQL语句集合，当主动去调用存储过程时，其中内部的SQL语句会按照逻辑执行。
delimiter 修改终止符（正常是以分号为终止符，可修改为$$等。）

MySQL 中变量为@i1
对于存储过程，可以接收参数，其参数有三类：
• in 仅用于传入参数用
• out 仅用于返回值用
• inout 既可以传入又可以当作返回值

创建存储过程(MySQL)

delimiter \\
create procedure p1(
    in i1 int,
    in i2 int,
    inout i3 int,
    out r1 int
)BEGIN
    DECLARE temp1 int;      # 声明变量
    DECLARE temp2 int default 0;  
    set temp1 = 1;     # 给变量赋值
    set r1 = i1 + i2 + temp1 + temp2;
    set i3 = i3 + 100;
end\\
delimiter ;

在MySQL中执行存储过程：

set @t1 =4;
set @t2 = 0;
CALL p1 (1, 2 ,@t1, @t2);
SELECT @t1,@t2;

用pymysql执行存储过程：

import pymysql

conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123', db='t1')
cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
cursor.callproc('p1', args=(1, 22, 3, 4))   # 执行存储过程
cursor.execute("select @_p1_0,@_p1_1,@_p1_2,@_p1_3")   # 获取执行完存储的参数
result = cursor.fetchall()
conn.commit()
cursor.close()
conn.close()
print(result)

六. 触发器

对某个表进行【增/删/改】操作的前后如果希望触发某个特定的行为时，可以使用触发器，触发器用于定制用户对表的行进行【增/删/改】前后的行为。

1.创建触发器

插入前

delimiter //
CREATE TRIGGER tri_before_insert_tb1 BEFORE INSERT ON tb1 FOR EACH ROW
BEGIN

IF NEW. NAME == 'alex' THEN
    INSERT INTO tb2 (NAME)
VALUES
    ('aa')
END
END//
delimiter ;

NEW(新传入的值)表示即将插入的数据行，OLD(原有的值)表示即将删除的数据行。

插入后

CREATE TRIGGER tri_after_insert_tb1 AFTER INSERT ON tb1 FOR EACH ROW
BEGIN
    ...
END

删除前

CREATE TRIGGER tri_before_delete_tb1 BEFORE DELETE ON tb1 FOR EACH ROW
BEGIN
    ...
END

删除后

CREATE TRIGGER tri_after_delete_tb1 AFTER DELETE ON tb1 FOR EACH ROW
BEGIN
    ...
END

更新前

CREATE TRIGGER tri_before_update_tb1 BEFORE UPDATE ON tb1 FOR EACH ROW
BEGIN
    ...
END

更新后

CREATE TRIGGER tri_after_update_tb1 AFTER UPDATE ON tb1 FOR EACH ROW
BEGIN
    ...
END

2.删除触发器

DROP TRIGGER tri_after_insert_tb1;

3.使用触发器

触发器无法由用户直接调用，而是由于对表的【增/删/改】操作被动引发的

insert into tb1(num) values(666)

七. 内容回顾

1. 视图
 	a.零时表
 	b.只能查
 	c.执行时才获取数据

2. 存储过程
	a.可以写复杂的逻辑
 	b.参数： int  out  inout 
 	c.结果集：select …

3. 动态SQL
 	a.sql是字符串
 	b.字符串格式化（占位符是？）

4.	触发器
 	a.为某一个表：
		Insert 前后
		Update 前后
		Delete 前后
 	b.NEW  OLD
 	c.删除，插入，更新多行时：
		for 多行：

八. MySQL函数：

1、自定义函数

delimiter \\
create function f1(
    i1 int,
	i2 int)
returns int
BEGIN
    declare num int;
    set num = i1 + i2;
return(num);
END \\
delimiter ;

2、删除函数

drop function func_name;

3、执行函数

获取返回值
declare @i VARCHAR(32);
select UPPER('alex') into @i;
SELECT @i;

在查询中使用
select f1(11,nid) ,name from tb2;

内置函数：

CHAR_LENGTH(str)
    返回值为字符串str 的长度，长度的单位为字符。一个多字节字符算作一个单字符。
    对于一个包含五个二字节字符集, LENGTH()返回值为 10, 而CHAR_LENGTH()的返回值为5。

CONCAT(str1,str2,...)
    字符串拼接
    如有任何一个参数为NULL ，则返回值为 NULL。
CONCAT_WS(separator,str1,str2,...)
    字符串拼接（自定义连接符）
CONCAT_WS()不会忽略任何空字符串。 (然而会忽略所有的 NULL）。

CONV(N,from_base,to_base)
        进制转换
        例如：
            SELECT CONV('a',16,2); 表示将 a 由16进制转换为2进制字符串表示

FORMAT(X,D)
        将数字X 的格式写为'#,###,###.##',以四舍五入的方式保留小数点后 D 位， 并将结果以字符串的形式返回。若  D 为 0, 则返回结果不带有小数点，或不含小数部分。
        例如：
            SELECT FORMAT(12332.1,4); 结果为： '12,332.1000'
    
INSERT(str,pos,len,newstr)
        在str的指定位置插入字符串
            pos：要替换位置真实位置
            len：替换的长度
            newstr：新字符串
        特别的：
            如果pos超过原字符串长度，则返回原字符串
            如果len超过原字符串长度，则由新字符串完全替换
    
INSTR(str,substr)
        返回字符串 str 中子字符串的第一个出现位置。

LEFT(str,len)
        返回字符串str 从开始的len位置的子序列字符。

LOWER(str)
        变小写

UPPER(str)
        变大写

LTRIM(str)
        返回字符串 str ，其引导空格字符被删除。
RTRIM(str)
        返回字符串 str ，结尾空格字符被删去。

SUBSTRING(str,pos,len)
        获取字符串子序列

LOCATE(substr,str,pos)
        获取子序列索引位置
	mysql> LOCATE('ex',’alexalex’,1);
            -> 3

REPEAT(str,count)
        返回一个由重复的字符串str 组成的字符串，字符串str的数目等于count 。
        若 count <= 0,则返回一个空字符串。
        若str 或 count 为 NULL，则返回 NULL 。
	mysql> REPEAT('ex',5);
            -> exexexexex

REPLACE(str,from_str,to_str)
        返回字符串str 以及所有被字符串to_str替代的字符串from_str 。
	mysql> REPLACE('alex',’le’,’GD’);
            -> aGDx
	mysql> REPLACE('alex',’le’,’GDGH’);
            -> aGDGHx

REVERSE(str)
        返回字符串 str ，顺序和字符顺序相反。

RIGHT(str,len)
        从字符串str 开始，返回从后边开始len个字符组成的子序列

SPACE(N)
        返回一个由N空格组成的字符串。

SUBSTRING(str,pos)
SUBSTRING(str FROM pos)
SUBSTRING(str,pos,len)   #（记这个）
SUBSTRING(str FROM pos FOR len)
          不带有len 参数的格式从字符串str返回一个子字符串，起始于位置 pos。带有len参数的	格式从字符串str返回一个长度同len字符相同的子字符串，起始于位置 pos。 使用 FROM	的格式为标准 SQL 语法。也可能对pos使用一个负值。假若这样，则子字符串的位置起始于	字符串结尾的pos 字符，而不是字符串的开头位置。在以下格式的函数中可以对pos 使用一	个负值。
        mysql> SELECT SUBSTRING('Quadratically',5);
            -> 'ratically'

        mysql> SELECT SUBSTRING('foobarbar' FROM 4);
            -> 'barbar'

        mysql> SELECT SUBSTRING('Quadratically',5,6);
            -> 'ratica'

        mysql> SELECT SUBSTRING('Sakila', -3);
            -> 'ila'

        mysql> SELECT SUBSTRING('Sakila', -5, 3);
            -> 'aki'

        mysql> SELECT SUBSTRING('Sakila' FROM -4 FOR 2);
            -> 'ki'

TRIM([{BOTH | LEADING | TRAILING} [remstr] FROM] str) TRIM(remstr FROM] str)
        返回字符串 str ， 其中所有remstr 前缀和/或后缀都已被删除。若分类符BOTH、LEADIN或TRAILING中没有一个是给定的,则假设为BOTH 。 remstr 为可选项，在未指定情况下，可删除空格。

        mysql> SELECT TRIM('  bar   ');
                -> 'bar'

        mysql> SELECT TRIM(LEADING 'x' FROM 'xxxbarxxx'); #去掉左边x
                -> 'barxxx'

        mysql> SELECT TRIM(BOTH 'x' FROM 'xxxbarxxx');  #去掉两边x
                -> 'bar'

        mysql> SELECT TRIM(TRAILING 'xyz' FROM 'barxxyz');  #去掉右边xyz
                -> 'barx'

注意：这里的第一位就是用1指代，而不是用0指代

九. 条件语句和循环语句

1、条件语句

delimiter \\
CREATE PROCEDURE proc_if ()
BEGIN    
    declare i int default 0;
    if i = 1 THEN
        SELECT 1;
    ELSEIF i = 2 THEN
        SELECT 2;
    ELSE
        SELECT 7;
    END IF;
END\\
delimiter ;

2、循环语句

a. while循环

delimiter \\
CREATE PROCEDURE proc_while ()
BEGIN
    DECLARE num INT ;
    SET num = 0 ;
    WHILE num < 10 DO
        SELECT
            num ;
        SET num = num + 1 ;
    END WHILE ;
END\\
delimiter ;

b.repeat循环

delimiter \\
CREATE PROCEDURE proc_repeat ()
BEGIN
    DECLARE i INT ;
    SET i = 0 ;
    repeat
        select i;
        set i = i + 1;
        until i >= 5
    end repeat;
END\\
delimiter ;

c.loop循环

BEGIN
    declare i int default 0;
    loop_label: loop
        set i=i+1;
        if i<8 then
            iterate loop_label;
        end if;
        if i>=10 then
            leave loop_label;
        end if;
        select i;
    end loop loop_label;
END

十. 补充

动态执行SQL语句：

delimiter \\
DROP PROCEDURE IF EXISTS proc_sql \\
CREATE PROCEDURE proc_sql ()
BEGIN
    declare p1 int;
    set p1 = 11;
    set @p1 = p1;
    PREPARE prod FROM 'select * from tb2 where nid > ?';
    EXECUTE prod USING @p1;
    DEALLOCATE prepare prod; 
END\\
delimiter ;

执行计划

相对比较准确的表达出当前SQL的运行状况
判断是否走索引？explain SQL语句

查看type类型（从上到下优化递增）：
    ALL             全表扫描，对于数据表从头到尾找一遍
	INDEX           全索引扫描，对索引从头到尾找一遍
	RANGE           对索引列进行范围查找
	INDEX_MERGE     合并索引，使用多个单列索引搜索
	REF             根据索引查找一个或多个值
	EQ_REF          连接时使用primary key 或 unique类型
	CONST           常量
	SYSTEM          系统

正确使用索引

数据库表中添加索引后确实会让查询速度起飞，但前提必须是正确的使用索引来查询，如果以错误的方式使用，则即使建立索引也会不奏效。

即使建立索引，索引也不会生效的情况：

1. like '%xx'
    select * from tb1 where name like '%cn';
2.使用函数
    select * from tb1 where reverse(name) = 'wupeiqi';
3. or
    select * from tb1 where nid = 1 or email = 'seven@live.com';
    特别的：当or条件中有未建立索引的列才失效，以下会走索引
            select * from tb1 where nid = 1 or name = 'seven';
            select * from tb1 where nid = 1 or email = 'seven@live.com' and name = 'alex'
4. 类型不一致
    如果列是字符串类型，传入条件是必须用引号引起来，不然...
    select * from tb1 where name = 999;
5. 不等于号 !=  
    select * from tb1 where name != 'alex'
    特别的：如果是主键，则还是会走索引
        select * from tb1 where nid != 123
6. 大于号 > 
    select * from tb1 where name > 'alex'
    特别的：如果是主键或索引是整数类型，则还是会走索引
        select * from tb1 where nid > 123
        select * from tb1 where num > 123
7. order by
    select email from tb1 order by name desc;
    当根据索引排序时候，选择的映射如果不是索引，则不走索引
    特别的：如果对主键排序，则还是走索引：
        select * from tb1 order by nid desc;
8. 组合索引最左前缀
    如果组合索引为：(name,email)
    name and email       -- 使用索引
    name                 -- 使用索引
    email                -- 不使用索引

如何提高查询速度？

避免使用select *
count(1)或count(列) 代替 count(*)
创建表时尽量时 char 代替 varchar
表的字段顺序固定长度的字段优先
组合索引代替多个单列索引（经常使用多个条件查询时）
尽量使用短索引（text，blob作为索引时，必须指定长度。）
使用连接（JOIN）来代替子查询(Sub-Queries)
连表时注意条件类型需一致
散列值（重复少）不适合建索引，例：性别不适合

MySQL分页
limit x, m : 扫描表中 x + m
where nid > 1000 : 直接跳过前1000条，从1001条开始扫描
两个结合，效率比较高

慢日志

a、配置MySQL自动记录慢日志

slow_query_log = ON                         是否开启慢日志记录
long_query_time = 2                         时间限制，超过此时间，则记录
slow_query_log_file = /usr/slow.log         日志文件
log_queries_not_using_indexes = ON          为使用索引的搜索是否记录

注：查看当前配置信息：
　　     show variables like '%query%'
     修改当前配置：
　　　　  set global 变量名 = 值
    修改完配置文件需重启才生效

b、查看MySQL慢日志