MySQL 性能优化思路和工具

MySQL 性能优化技巧 一、背景 最近公司项目添加新功能,上线后发现有些功能的列表查询时间很久。原因是新功能用到旧功能的接口,而这些旧接口的 SQL 查询语句关联5,6张表且编写不够规范,导致 MySQL 在执行 SQL 语句时索引失效,进行全表扫描。原本负责优化的同事有事请假回家,因此优化查询数据的问题落在笔者手中。笔者在查阅网上 SQL 优化的资料后成功解决了问题,在此从==全局角度==记录和总结 MySQL 查询优化相关技巧。 二、优化思路 数据查询慢,不代表 SQL 语句写法有问题。 首先,我们需要找到问题的源头.. 阅读详情

一、优化思路

作为架构师或者开发人员,说到数据库性能优化,你的思路是什么样的?

或者具体一点,如果在面试的时候遇到这个问题:你会从哪些维度来优化数据库,你会怎么回答?

我们在第一节课开始的时候讲了,这四节课的目标是为了让大家建立数据库的知识体系,和正确的学习调优的思路。

我们说到性能调优,大部分时候想要实现的目标是让我们的查询速度更快。一个查询的动作又是有很多个环节组成的,每个环节都会消耗时间,我们在第一节课讲 SQL 语句的执行流程的时候已经分析过了。

我们要减少查询所消耗的时间,就要从每一个环节入手。

二、 连接——配置优化

第一个环节是客户端连接到服务端,连接这一块有可能会出现什么样的性能问题?有可能是服务端连接数不够导致应用程序获取不到连接。比如报了一个 Mysql: error1040: Too many connections 的错误。

我们可以从两个方面来解决连接数不够的问题:

1、从服务端来说,我们可以增加服务端的可用连接数。

如果有多个应用或者很多请求同时访问数据库,连接数不够的时候,我们可以:

(1)修改配置参数增加可用连接数,修改 max_connections 的大小:

show variables like 'max_connections'; -- 修改最大连接数,当有多个应用连接的时候

(2)或者,或者及时释放不活动的连接。交互式和非交互式的客户端的默认超时时间都是 28800秒,8 小时候,我们可以把这个值调小。

show global variables like 'wait_timeout'; --及时释放不活动的连接,注意不要释放连接池还

在使用的连接

2、从客户端来说,可以减少从服务端获取的连接数,如果我们想要不是每一次执行SQL 创建一个新的连接,应该怎么做?

这个时候我们可以引入连接池,实现连接的重用。

我们可以在哪些层面使用连接池?ORM 层面(MyBatis 自带了一个连接池);或者使用专用的连接器池工具(阿里的 Druid、Spring Boot 2.x 版本默认的连接池 Hikari、老牌的 DBCP 和 C3P0)。

我们这里说到了从数据库配置的层面去优化数据库。不管是数据库本身的配置,还是安装这个数据库服务的操作系统的配置,对于配置进行优化,最终的目标都是为了更好地发挥硬件本身的性能,包括CPU、内存、磁盘、网络。

在不同的硬件环境下,操作系统不同 MySQL 的参数的配置是不同的,没有标准的配置。

在我们这几天的课程里面也接触了很多的 MySQL 和 InnoDB 的配置参数,包括各种开关和数值的配置,大多数参数都提供了一个默认值,比如默认的 buffer_pool_size,默认的页大小,InnoDB 并发线程数等等。

这些默认配置可以满足大部分人的需求,除非有特殊的需求,在清楚参数的含义的情况下再去修改它。修改配置的工作一般由专业的 DBA 完成。

至于硬件本身的选择,比如使用固态硬盘,搭建磁盘阵列,选择特定的 CPU 幸好这些,不是我们开发人员关注的重点,这个我们就不做过多的介绍了。

除了合理设置服务端的连接数和客户端的连接池大小之外,我们还有哪些减少客户端跟数据库服务端的连接数的方案呢?

我们可以引入缓存。

三、缓存——架构优化

缓存

在应用系统的并发数非常大的情况下,如果没有缓存,会造成两个问题:一方面是会给数据库带来很大的压力。另一方面,从应用的层面来说,操作数据的速度也会受到影响。

我们可以用第三方的缓存服务来解决这个问题,例如 Redis。

运行独立的缓存服务,属于架构层面的优化。

为了减少单台数据库服务器的读写压力,在架构层面我们还可以做其他哪些优化措施?

主从复制

如果单台数据库服务满足不了访问需求,那我们可以做数据库的集群方案。

集群的话必然会面临一个问题,就是不同的节点之间数据一致性的问题。如果同时读写多台数据库节点,怎么让所有的节点数据保持一致?

这个时候我们需要用到复制技术(replication),被复制的节点称为 master,复制的节点称为slave。

主从复制是怎么实现的呢?在第一节课我们说过,更新的语句会记录下来 binlog,它是一种逻辑日志。

有了这个 binlog,从服务器会获取主服务器的信息 binlog 文件,然后解析里面的 SQL 语句,再从服务器上面执行一遍,保持与主从的数据一致。

这里面涉及到三个线程,连接到 master 获取 binlog,并且解析 binlog 写入中继日志,这个线程叫做 I/O 线程。

Master 节点上有一个 log dump 线程,是用来发送 binlog 给 slave 的。

从库的 SQL 线程,是用来读取 relay log,把数据写入到数据库里的。

这个是主从复制涉及到的三个线程。

做了主从复制的方案之后,我们只把数据写入 master 节点,而读的请求可以分担到slave 节点。我们把这种方案叫做读写分离。

读写分离可以一定程度地减轻数据库服务器的访问压力,但是需要特别注意数据一致性的问题。

我们在做了主从复制之后,如果单个 master 节点或者单张表存储的数据过大的时候,比如一张表有上亿的数据,单张表的查询性能还是会下降,我们要进一步对单台数据库节点的数据进行拆分,这个就是是分库分表。

分库分表

垂直分库,减少并发压力。水平分表,解决存储瓶颈。

垂直分库的做法,把一个数据库按照业务拆分成不同的数据库:

水平分库分表的做法,把单张表的数据按照一定的规则分布到多个数据库。

以上是架构层面的优化,可以用缓存,主从,分库分表

第三个环节:

解析器,词法和语法分析,主要是保证语句的正确性,语句不出错就没问题。由 Sever 自己处理,跳过。

第四步:优化器

四 优化器——SQL 语句分析与优化

优化器就是对我们的 SQL 语句进行分析,生成执行计划。

问题是:在我们做项目的时候,有时会收到 DBA 的邮件,里面列出了我们项目上几个耗时比较长的项目询问语句,让我们去优化,这些语句是从哪里来的呢?

我们的服务层每天执行了这么多 SQL 语句,它怎么知道哪些 SQL 语句比较慢呢?

第一步,我们要把 SQL 执行情况记录下来。

慢查询日志 slow query log

https://dev.mysql.com/doc/refman/5.7/en/slow-query-log.html

打开慢日志开关

因为开启慢查询日志是有代价的(跟 bin log、optimizer-trace 一样),所以它默认是关闭的:

show variables like 'slow_query%';

除了这个开关,还有一个参数,控制执行超过多长时间的 SQL 才记录到慢日志,默认是 10 秒。

show variables like '%long_query%';

可以直接动态修改参数(重启后失效)。

set @@global.slow_query_log=1; -- 1 开启,0 关闭,重启后失效

set @@global.long_query_time=3; -- mysql 默认的慢查询时间是 10 秒,另开一个窗口后才会查

到最新值

show variables like '%long_query%';

show variables like '%slow_query%';

或者修改配置文件 my.cnf。

以下配置定义了慢查询日志的开关、慢查询的时间、日志文件的存放路径。

slow_query_log = ON

long_query_time=2

slow_query_log_file =/var/lib/mysql/localhost-slow.log

模拟慢查询:

select sleep(10);

查询 user_innodb 表的 500 万数据(检查是不是没有索引)。

SELECT * FROM `user_innodb` where phone = '136';

慢日志分析

日志内容

show global status like 'slow_queries'; -- 查看有多少慢查询
show variables like '%slow_query%'; -- 获取慢日志目录
cat /var/lib/mysql/ localhost-slow.log

有了慢查询日志,怎么去分析统计呢?比如 SQL 语句的出现的慢查询次数最多,平均每次执行了多久?人工肉眼分析显然不可能。

mysqldumpslow

https://dev.mysql.com/doc/refman/5.7/en/mysqldumpslow.html

MySQL 提供了 mysqldumpslow 的工具,在 MySQL 的 bin 目录下。

mysqldumpslow --help

例如:查询用时最多的 10 条慢 SQL:

mysqldumpslow -s t -t 10 -g 'select' /var/lib/mysql/localhost-slow.log

Count 代表这个 SQL 执行了多少次;

Time 代表执行的时间,括号里面是累计时间;

Lock 表示锁定的时间,括号是累计;

Rows 表示返回的记录数,括号是累计。

除了慢查询日志之外,还有一个 SHOW PROFILE 工具可以使用

SHOW PROFILE

https://dev.mysql.com/doc/refman/5.7/en/show-profile.html

SHOW PROFILE 谷歌高级架构师 Jeremy Cole 贡献给 MySQL 社区的,可以查看SQL 语句执行的时候使用的资源,比如 CPU、IO 的消耗情况。

在 SQL 中输入 help profile 可以得到详细地帮助信息

查看是否开启

select @@profiling;
set @@profiling=1;

查看 profile 统计

show profiles;

查看最后一个 SQL 的执行详细信息,从中找出耗时较多的环节(没有 s)。

show profile;

6.2E-5,小数点左移 5 位,代表 0.000062 秒。

也可以根据 ID 查看执行详细信息,在后面带上 for query + ID。

show profile for query 1;

除了慢日志和 show profile,如果要分析出当前数据库中执行的慢的 SQL,还可以通过查看运行线程状态和服务器运行信息、存储引擎信息来分析。

其他系统命令

show processlist 运行线程

https://dev.mysql.com/doc/refman/5.7/en/show-processlist.html
show processlist;

这是很重要的一个命令,用于显示用户运行线程。可以根据 id 号 kill 线程。

也可以查表,效果一样:(可以 group order by 了)

select * from information_schema.processlist;

show status 服务器运行状态

说明:
https://dev.mysql.com/doc/refman/5.7/en/show-status.html

详细参数:
https://dev.mysql.com/doc/refman/5.7/en/server-status-variables.html

SHOW STATUS 用于查看 MySQL 服务器运行状态(重启后会清空),有 session和 global 两种作

用域,格式:参数-值。

可以用 like 带通配符过滤。

SHOW GLOBAL STATUS LIKE 'com_select'; -- 查看 select 次数

show engine 存储引擎运行信息

https://dev.mysql.com/doc/refman/5.7/en/show-engine.html

https://dev.mysql.com/doc/refman/5.7/en/innodb-standard-monitor.html

show engine 用来显示存储引擎的当前运行信息,包括事务持有的表锁、行锁信息;事务地锁等待

情况;线程信号量等待;文件 IO 请求;buffer pool 统计信息。

例如:

show engine innodb status;

如果需要将监控信息输出到错误信息 error log 中(15 秒钟一次),可以开启输出。

show variables like 'innodb_status_output%'; -- 开启输出:
SET GLOBAL innodb_status_output=ON;
SET GLOBAL innodb_status_output_locks=ON;

我们现在已经知道了这么多分析服务器状态、存储引擎状态、线程运行信息的命令,如果让你去写一个数据库监控系统,你会怎么做?

其实很多开源的查询日志监控工具,他们的原理其实也都是读取的系统的变量和状态。

现在我们已经知道哪些 SQL 慢了,为什么慢呢?慢在哪里?

MySQL 提供了一个执行计划的工具(在架构中我们有讲到,优化器最终生成的就是一个执行计划),其他数据库,例如 Oracle 也有类似的功能。

通过 EXPLAIN 我们可以模拟优化器执行任务 SQL 查询语句的过程,才知道 MySQL 是怎么处理的SQL 语句的。通过这种方式我们可以分析语句或者表的性能瓶颈。

SHOW GLOBAL STATUS LIKE 'com_select'; -- 查看 select 次数show engine innodb status;

show variables like 'innodb_status_output%'; -- 开启输出:

SET GLOBAL innodb_status_output=ON;

SET GLOBAL innodb_status_output_locks=ON;

MySQL 5.6.3以前只能分析 SELECT; MySQL5.6.3以后就可以分析update、delete、insert 了。

EXPLAIN 执行计划

https://dev.mysql.com/doc/refman/5.7/en/explain-output.html

我们先创建三张表。一张课程表,一张老师表,一张老师联系方式表(没有任何索引)。

DROP TABLE
IF
EXISTS course;
CREATE TABLE `course` ( `cid` INT ( 3 ) DEFAULT NULL, `cname` VARCHAR ( 20 )
DEFAULT NULL, `tid` INT ( 3 ) DEFAULT NULL ) ENGINE = INNODB DEFAULT CHARSET =
utf8mb4;
DROP TABLE
IF
EXISTS teacher;
CREATE TABLE `teacher` ( `tid` INT ( 3 ) DEFAULT NULL, `tname` VARCHAR ( 20 )
DEFAULT NULL, `tcid` INT ( 3 ) DEFAULT NULL ) ENGINE = INNODB DEFAULT CHARSET =
utf8mb4;
DROP TABLE
IF
EXISTS teacher_contact;
CREATE TABLE `teacher_contact` ( `tcid` INT ( 3 ) DEFAULT NULL, `phone` VARCHAR
( 200 ) DEFAULT NULL ) ENGINE = INNODB DEFAULT CHARSET = utf8mb4;
INSERT INTO `course`
VALUES
( '1', 'mysql', '1' );
INSERT INTO `course`
VALUES
( '2', 'jvm', '1' );
INSERT INTO `course`
VALUES
( '3', 'juc', '2' );
INSERT INTO `course`
VALUES
( '4', 'spring', '3' );
INSERT INTO `teacher`
VALUES
( '1', 'bobo', '1' );
INSERT INTO `teacher`
VALUES
( '2', 'jim', '2' );
INSERT INTO `teacher`
 explain 的结果有很多的字段,我们详细地分析一下。
先确认一下环境:
4.3.1 id
id 是查询序列编号。
id 值不同
id 值不同的时候,先查询 id 值大的(先大后小)。
查询顺序:course c——teacher t——teacher_contact tc。
先查课程表,再查老师表,最后查老师联系方式表。子查询只能以这种方式进行,只有拿到内层的结
果之后才能进行外层的查询。
id 值相同(从上往下)
VALUES
( '3', 'dahai', '3' );
INSERT INTO `teacher_contact`
VALUES
( '1', '13688888888' );
INSERT INTO `teacher_contact`
VALUES
( '2', '18166669999' );
INSERT INTO `teacher_contact`
VALUES
( '3', '17722225555' );

explain 的结果有很多的字段,我们详细地分析一下。

先确认一下环境:

select version();
show variables like '%engine%';

id

id 查询序列编号。

id 值得不同的时候,先查询 id 值大的(先大后小)。

-- 查询 mysql 课程的老师手机号
EXPLAIN SELECT
tc.phone
FROM
teacher_contact tc
WHERE
tcid = ( SELECT tcid FROM teacher t WHERE t.tid = ( SELECT c.tid FROM course
c WHERE c.cname = 'mysql' ) );

查询顺序:course c——teacher t——teacher_contact tc。

先查课程表,再查老师表,最后查老师联系方式表。的查询只能以这种方式进行,只有拿到内层的结果果之后才能进行外层的查询。

id 值相同(从上往下)

-- 查询课程 ID 为 2,或者联系表 ID 为 3 的老师
EXPLAIN SELECT
t.tname,
c.cname,
tc.phone
FROM
teacher t,
course c,
teacher_contact tc
WHERE
t.tid = c.tid
AND t.tcid = tc.tcid
AND ( c.cid = 2 OR tc.tcid = 3 );

id 值相同时,表的查询顺序是从上往下顺序执行。例如这次查询的 id 都是 1,查询的顺序是teacher t(3 条)——course c(4 )——teacher_contact tc(3 条)。

既有相同也有不同

如果 ID 有相同也有不同,就是 ID 不同的先大后小,ID 相同的是从上往下。

4.3.2 select type 查询类型

这里并没有列举全部(其它:DEPENDENT UNION、DEPENDENT SUBQUERY、MATERIALIZED、UNCACHEABLE SUBQUERY、UNCACHEABLE UNION)。

下面列举了一些常见的查询类型:

SIMPLE

简单查询,不包含子查询,不包含关联查询 union。

EXPLAIN SELECT * FROM teacher;

再看一个包含子查询的案例:

-- 查询 mysql 课程的老师手机号
EXPLAIN SELECT
tc.phone
FROM
teacher_contact tc
WHERE
tcid = ( SELECT tcid FROM teacher t WHERE t.tid = ( SELECT c.tid FROM course
c WHERE c.cname = 'mysql' ) );

PRIMARY

的查询 SQL 语句中的主查询,也就是最外面的那层查询。

SUBQUERY

的查询中所有的内层查询都是 SUBQUERY 类型的。

DERIVED

衍生查询,表示在得到最终查询结果之前会用到临时表。例如:

-- 查询 ID 为 1 或 2 的老师教授的课程
EXPLAIN SELECT
cr.cname
FROM
( SELECT * FROM course WHERE tid = 1 UNION SELECT * FROM course WHERE tid =
2 ) cr;

对于关联查询,先执行右边的 table(UNION),再执行左边的 table,类型是DERIVED

UNION

用到了 UNION 查询。同上例。

UNION RESULT

主要是显示哪些表之间存在 UNION 查询。<union2,3>代表 id=2 和 id=3 的查询存在 UNION。同上例。

4.3.3 type 连接类型

https://dev.mysql.com/doc/refman/5.7/en/explain-output.html#explain-join-types

所有的连接类型中,上面的最好,越往下越差。

在常用的链接类型中:system > const > eq_ref > ref > range > index > all这 里 并 没 有 列 举 全 部 ( 其 他 : fulltext 、 ref_or_null 、 index_merger 、unique_subquery、index_subquery)。

以上访问类型除了 all,都能用到索引。

const

主键索引或者唯一索引,只能查到一条数据的 SQL。

DROP TABLE
IF
EXISTS single_data;
CREATE TABLE single_data ( id INT ( 3 ) PRIMARY KEY, content VARCHAR ( 20 ) );
INSERT INTO single_data
VALUES
( 1, 'a' );
EXPLAIN SELECT
*
FROM
single_data a
WHERE
id = 1;

system

system 是 const 的一种特例,只有一行满足条件。例如:只有一条数据的系统表。

EXPLAIN SELECT * FROM mysql.proxies_priv;

eq_ref

通常出现在多表的 join 查询,表示对于前表的每一个结果,,都只能匹配到后表的一行结果。一般是唯一性索引的查询(UNIQUE 或 PRIMARY KEY)。

eq_ref 是除 const 之外最好的访问类型。

先删除 teacher 表中多余的数据,teacher_contact 有 3 条数据,teacher 表有 3条数据。

DELETE
FROM
teacher
WHERE
tid IN ( 4, 5, 6 );
COMMIT;
-- 备份
INSERT INTO `teacher`
VALUES
( 4, 'jim', 4 );
INSERT INTO `teacher`
VALUES
( 5, 'bobo', 5 );
INSERT INTO `teacher`
VALUES
( 6, 'seven', 6 );
COMMIT;

为 teacher_contact 表的 tcid(第一个字段)创建主键索引。

-- ALTER TABLE teacher_contact DROP PRIMARY KEY;
ALTER TABLE teacher_contact ADD PRIMARY KEY(tcid);

为 teacher 表的 tcid(第三个字段)创建普通索引

-- ALTER TABLE teacher DROP INDEX idx_tcid;

ALTER TABLE teacher ADD INDEX idx_tcid (tcid);

执行以下 SQL 语句:

select t.tcid from teacher t,teacher_contact tc where t.tcid = tc.tcid;

此时的执行计划(teacher_contact 表示 eq_ref):

小结:

以上三种 system,const,eq_ref,都是可遇而不可求的,基本上很难优化到这个状态。

ref

查询用到了非唯一性索引,或者关联操作只使用了索引的最左前缀。

例如:使用 tcid 上面的普通索引查询:

explain SELECT * FROM teacher where tcid = 3;

range

索引范围扫描。

如果 where 后面是 between and 或 <或 > 或 >= 或 <=或 in 这些,type 类型就为 range。

不走索引一定是全表扫描(ALL),所以先加上普通索引。

-- ALTER TABLE teacher DROP INDEX idx_tid;
ALTER TABLE teacher ADD INDEX idx_tid (tid);

执行范围查询(字段上有普通索引):

EXPLAIN SELECT * FROM teacher t WHERE t.tid <3;
-- 或
EXPLAIN SELECT * FROM teacher t WHERE tid BETWEEN 1 AND 2;

IN 查询也是 range(字段有主键索引)

EXPLAIN SELECT * FROM teacher_contact t WHERE tcid in (1,2,3);

index

Full Index Scan,查询全部索引中的数据(比不走索引要快)。

EXPLAIN SELECT tid FROM teacher;

all

Full Table Scan,如果没有索引或者没有用到索引,type 就是 ALL。代表全表扫描。

小结:

一般来说,需要保证查询至少达到 range 级别,最好能达到 ref。

ALL(全表扫描)和 index(查询全部索引)都是需要优化的。

possible_key、key

可能用到的索引和实际用到的索引。如果是 NULL 就代表没有用到索引。

possible_key 可以有一个或者多个,可能用到索引不代表一定用到索引。

反过来,possible_key 为空,key 可能有值吗?

表上创建联合索引:

ALTER TABLE user_innodb DROP INDEX comidx_name_phone;
ALTER TABLE user_innodb add INDEX comidx_name_phone (name,phone);

执行计划(改成 select name 也能用到索引):

explain select phone from user_innodb where phone='126';

结论:是有可能的(这里是覆盖索引的情况)。

如果通过分析发现没有用到索引,就要检查 SQL 或者创建索引。

key_len

索引的长度(使用的字节数)。跟索引字段的类型、长度有关。

表上有联合索引:KEY comidx_name_phone ( name , phone )

explain select * from user_innodb where name ='jim';

rows

MySQL 认为扫描多少行才能返回请求的数据,是一个预估值。一般来说行数越少越好。

filtered

这个字段表示存储引擎返回的数据在 server 层过滤后,剩下多少满足查询的记录数量的比例,它是

一个百分比。

ref

使用哪个列或者常数和索引一起从表中筛选数据。

Extra

执行计划给出的额外的信息说明。

using index

用到了覆盖索引,不需要回表。

EXPLAIN SELECT tid FROM teacher ;

using where

使用了 where 过滤,表示存储引擎返回的记录并不是所有的都满足查询条件,需要在 server 层进行过滤(跟是否使用索引没有关系)。

EXPLAIN select * from user_innodb where phone ='13866667777';

using filesort

不能使用索引来排序,用到了额外的排序(跟磁盘或文件没有关系)。需要优化。(复合索引的前提)

ALTER TABLE user_innodb DROP INDEX comidx_name_phone;
ALTER TABLE user_innodb add INDEX comidx_name_phone (name,phone);
EXPLAIN select * from user_innodb where name ='jim' order by id;

(order by id 引起)

using temporary

用到了临时表。例如(以下不是全部的情况):

1、distinct 非索引列

EXPLAIN select DISTINCT(tid) from teacher t;

2、group by 非索引列

EXPLAIN select tname from teacher group by tname;

3、使用 join 的时候,group 任意列3.

EXPLAIN select t.tid from teacher t join course c on t.tid = c.tid group byt.tid;

需要优化,例如创建复合索引。

总结一下:

模拟优化器执行 SQL 查询语句的过程,才知道 MySQL 是怎么处理一条 SQL 语句的。通过这种方式我们可以分析语句或者表达的性能瓶颈。

分析出问题之后,就是对 SQL 语句的具体优化。

SQL 与索引优化

SQL 语句的优化的目标,大部分时候都是用到索引。

我们在第二节课里面也讲到了索引创建的原则,什么情况会用到索引,什么情况不会用到索引。

五、存储引擎

存储引擎的选择

为不同的业务表选择不同的存储引擎,例如:查询插入操作多的业务表,用 MyISAM。临时数据用Memory。常规的并发大更新多的表用 InnoDB。。

字段定义

原则:使用可以正确存储数据的最小数据类型。

为每一列选择合适的字段类型。

整数类型

  • TINYINT 1 个字节
  • SMALLINT 2 个字节
  • MEDIUMINT 3 个字节
  • INT, INTEGER 4 个字节
  • BIGINT 8 个字节

INT 有 8 种类型,不同的类型的最大存储范围是不一样的。

性别?用 TINYINT,因为 ENUM 也是整数存储。

字符类型

变长情况下,varchar 更节省空间,但是对于 varchar 字段,需要一个字节来记录长度。

固定长度的用 char,不要用 varchar。

不要用外键、触发器、视图

降低了可读性;

影响数据库性能,应该把把计算的事情交给程序,数据库专心做存储;

数据的完整性应该在程序中检查。

大文件存储

不要用数据库存储图片(比如 base64 编码)或者大文件;

把文件放在 NAS 上,数据库只需要存储 URI(相对路径),在应用中配置 NAS 服务器地址。

表拆分或字段冗余

将不常用的字段拆分出去,避免列数过多和数据量过大。

比如在业务系统中,要记录所有接收和发送的消息,这个消息是 XML 格式的,用blob 或者 text 存

储,用来追踪和判断重复,可以建立一张表专门用来存储报文。

六 总结:优化体系

所以,如果在面试的时候再问到这个问题“你会从哪些维度来优化数据库”,你会怎么回答?

除了对于代码、SQL 语句、定义、架构、配置优化之外,业务层面的优化也不能忽视。举两个例子:

1)在某一年的双十一,为什么会做一个充值到余额宝和余额宝奖金的活动,例如充300 送 50?因为使用余额或者余额宝付款是记录本地或者内部数据库,而使用银行卡付款,需要调用接口,操内部数据库肯定更快。

2)在去年的双十一,为什么在凌晨禁止查询今天之外的账单?

这是一种降级措施,用来保证当前最核心的业务。

3)最近几年的双十一,为什么提前个把星期就已经有双十一当天的价格了?

预售分流。

4)公安局的同名查询,不是实时返回结果(不是实时查询数据库),而是通过公众号推送。

在应用层面同样有很多其他的方案来优化,达到尽量减轻数据库的压力的目的,比如限流,或者引入 MQ 削峰,等等等等。

为什么同样用 MySQL,有的公司可以抗住百万千万级别的并发,而有的公司几百个并发都扛不住,关键在于怎么用。所以,用数据库慢,不代表数据库本身慢,有的时候还要往上层去优化。

当然,如果关系型数据库解决不了的问题,我们可能需要用到搜索引擎或者大数据的方案了,并不所有的数据都要放到关系型数据库存储。

MySQL数据库优化思路的细节分析(性能方向) 不要听信你看到的关于优化的“绝对真理”,而应该是在实际的业务场景下通过测试来验证你关于执行计划以及响应时间的假设。 本篇文章只是给大家提供一些优化方面的方向和思路,而具体业务场景的不同,使用的MySQL服务版本不同,都会使得优化方案的制定也不同。 首先开看优化可能带来的问题 优化不总是对一个单纯的环境进行,还很可能是一个复杂的已投产的系统! 优化手段有很大的风险,一定要意识到和预见到! 任何的技术可以解决一个问题,但必然存在带来一个问题的风险! 对于优化来说调优而带来的问题,控制在可接受的范围内才是有成果。 保持现状或出现更差的情况都是失败! 优化的需求 稳定性和业务可持续性,通常比性能更重要 立即下载

相关推荐

点云图的学习

一。点云地图拼接 1.1 配置运行环境 首先配置安装opencv3,安装完成后如下图: 然后配置点云图工具pcl,直接使用apt即可安装,安装后如下图: 最后使用点云工具观察点云图: 1.2 原理解析 总的来说由多角度拍摄图片拼接为点云3D图,是通过相机的内参,将像素坐标转化为相机坐标,再通过外参将相机坐标转化为世界坐标系,然后将每张图片的像素绘制填充于同一个世界坐标系下面,形成点云3D图。...

ff_xun的博客 1万+

MySQL性能调优的10个方法(转载)-20230709

MySQL性能调优的10个方法

u010503464的博客 4899

远程桌面报‘数据加密错误‘?可能是网卡设置惹的祸(附TCP校验关闭教程)

本文深入分析远程桌面连接中出现的'数据加密错误'问题,指出网卡设置可能是根本原因,并提供详细的TCP校验关闭教程。通过禁用网卡高级属性中的'TCP校验和IPv4'与'IPv4承载卸载'功能,可有效解决RDP协议与硬件加速的兼容性问题,适用于Windows和Linux系统。

view3的博客 276

MySQL性能调优

注意事项1. 避免过度优化:优先解决性能瓶颈最严重的部分。2. 基准测试:使用sysbench或自定义脚本验证调优效果。3. 灰度发布:生产环境调整配置时逐步验证。通过以上策略,可系统性提升MySQL性能,支撑高并发、大数据量场景。实际调优需结合业务特点,持续监控与迭代。

guanxin0206的博客 4023

RealSense D455启动教程

RealSense D455启动教程 修改rs_camera.launch

每天进步一点点 2417

【Unity】ABB CRB 15000 外部引导运动实战:从配置到实时控制

本文详细介绍了ABB CRB 15000协作机器人的外部引导运动(EGM)功能在Unity环境中的实战应用。从RobotStudio配置到Unity实时通信架构,再到EGM运动控制技巧和问题排查,全面解析如何实现机器人的高精度实时控制。通过实际案例展示EGM技术在精密装配等场景中的显著效果,帮助开发者快速掌握这一先进技术。

weixin_29057695的博客 445

MYSQL中的性能调优方法

MySQL的性能调优,涉及查询优化、索引设计、服务器配置、分区表的使用等多个方面。通过合理使用这些方法,可以显著提高MySQL数据库的响应速度和处理能力。在实际应用中,调优的步骤往往需要根据业务需求、数据规模和服务器配置等因素灵活调整。

有时间就写写代码 2385

在 SAP 里玩转 FTP:标准程序 RSFTP00x 全景解析与落地实践

摘要:SAP系统通过封装的标准FTP程序(RSFTP001-008)提供便捷的文件传输能力,适用于各类集成场景。关键点包括:1)依赖SAPFTP可执行程序和RFC目的地;2)使用RSFTP005进行前置检查并生成RFC配置;3)标准报表各司其职,如RSFTP002用于命令测试、RSFTP007/008提供参考实现;4)开发时组合FTP_CONNECT/COMMAND/DISCONNECT等函数模块。特别注意前台(SAPFTP)与后台(SAPFTPA)的环境差异,这是常见故障点。该方案通过标准化工具链显著降低

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 210

多方面进行MySQL性能优化(详解篇)

这种集群的架构对减轻主数据库服务器的压力有非常好的效果,但是随着业务数据越来越多,如果某张表的数据量急剧增加,单表的查询性能就会大幅下降,而这个问题是读写分离也无法解决的,毕竟所有节点存放的是一模一样的数据啊,单表查询性能差,说的自然也是所有节点性能都差。上面这条语句可以展示innodb存储引擎的当前运行的各种信息,大家可以据此找到MySQL当前的问题,限于篇幅不在此意义说明其中信息的含义,大家只要知道MySQL提供了这样一个监控工具就行了,等到需要的时候再来用就好。

tigerhhzz的博客 7904

组合预测 | Python实现LSTM-XGBoost长短期记忆网络组合极限梯度提升树股票价格预测

组合预测 | Python实现LSTM-XGBoost长短期记忆网络和极限梯度提升树股票价格预测

机器学习之心的博客,关注并私信文章链接,获取对应文章源码和数据。 2353

GDB交叉编译与问题解决:从零到精通的深度指南

完成后,GDB会安装到/usr/local/gdb-aarch64/bin,可以用aarch64-linux-gnu-gdb --version检查。:得有支持目标架构的交叉编译工具链,比如gcc-arm-none-eabi(用于ARM裸机)或aarch64-linux-gnu-gcc(用于ARM Linux)。:在配置工具链时,运行aarch64-linux-gnu-gcc --version检查版本,确保工具链没问题。这种场景下用GDB调试,就像在荒野求生,但别慌,GDB依然是你的好伙伴。

大模型大数据攻城狮的专栏 1万+

【MySQL调优】如何进行MySQL调优?一篇文章就够了!

MySQL调优主要分为三个步骤:监控报警、排查慢SQL、MySQL调优。 排查慢SQL:开启慢查询日志 、找出最慢的几条SQL、分析查询计划 。 MySQL调优: 基础优化:缓存优化、硬件优化、参数优化、定期清理垃圾、使用合适的存储引擎、读写分离、分库分表; 表设计优化:数据类型优化、冷热数据分表等。 索引优化:考虑索引失效的11个场景、遵循索引设计原则、连接查询优化、排序优化、深分页查询优化、覆盖索引、索引下推、用普通索引等。 SQL优化。

种一棵树最好的时间是十年前,其次是现在 3万+

SAP FICO资产明细表开发说明书(包括测试样例、程序代码仅作参考,不保证一定可以运行)

SAP FICO资产明细表开发说明书(包括源代码,测试样例及FS)

我好像病了的博客 1469

Mysql——》性能优化思路和工具

优化思路 作为架构师或者开发人员,说到数据库性能优化,你的思路是什么样的? 或者具体一点,如果在面试的时候遇到这个问题:你会从哪些维度来优化数据库,你会怎么回答? 我们说到性能调优,大部分时候想要实现的目标是让我们的查询更快。 一个查询的动作又是由很多个环节组成的,每个环节都会消耗时间。 所以我们要减少查询所消耗的时间,就要从每一个环节入手。 一、连接 客户端连接到服务端,有可能会出现 服务端连接数不够,导致应用程序获取不到连接。 比如错误: Mysql: error1040: Too many

小仙~ 893

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

专题3-MySQL 性能优化思路和工具

一、优化思路 作为架构师或者开发人员,说到数据库性能优化,你的思路是什么样的? 或者具体一点,如果在面试的时候遇到这个问题:你会从哪些维度来优化数据库,你会怎么回答? 我们在第一节开始的时候讲了,目标是为了让大家建立数据库的知识体系,和正确的调优的思路。 我们说到性能调优,大部分时候想要实现的目标是让我们的查询更快。一个查询的动作又是由很多个环节组成的, 每个环节都会消耗时间,我们在第一节讲 SQL 语句的执行流程的时候已经分析过了。 我们要减少查询所消耗的时间,就要从每一个环节入手。

q287573145的博客 432

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

2024年C C++最新MySQL 性能优化思路和工具_mysql优化开源工具,字节跳动资深面试官亲述

查看有多少慢查询– 获取慢日志目录– 查看 select 次数– 开启输出:DROP TABLEIFcoursecidcnametidutf8mb4;

2401_84973664的博客 946

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

mysql性能模块uptime_MySQL性能分析与性能优化篇

1 性能分析的思路​ 首先需要使用慢查询日志功能去获取所有查询时间比较长的SQL语句。​ 其次查看执行计划,查看有问题的SQL的执行计划。​ 最后使用show profile分析SQL语句性能消耗情况。2 慢查询日志​ MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阈值的语句,具体指运行时间超过long_q...

weixin_35631730的博客 1124

ESP32智能电表DIY:交流采样、RMS计算与电费可视化全解析

物联网设备常需感知物理世界,而交流电信号采集是智能家居与能源管理的基础。其原理涉及信号调理、真有效值计算与同步采样,技术价值在于将模拟量转化为可分析的数字量,实现精准监测。典型应用包括家庭能耗分项计量、分时电价核算与远程数据上云。基于ESP32与互感器,通过硬件定时器采样、RMS算法及MQTT传输,可构建低成本全屋电费可视化系统,解决市售电表数据封闭、成本高的问题。

weixin_33850890的博客 317

mysql 服务器优化_MYSQL性能优化之服务器性能优化思路详解

mysql服务器性能优化和调优是IT工作人员日常都会遇到的问题。很多同学可能也懂一些服务器的调优方案。但是总体说来,形不成一个体系。不能从一个宏观的角度,系统的对服务器进行优化。所以今天我从宏观上说一下服务器调优的基本步骤和思路,希望能够帮助到大家。首先,通过脚本刷新观察服务器status,看是否是周期性的故障和波动。很多同学遇到服务器性能问题,一上来就调节这个,修改那个,这种做法是比较盲目的。就...

weixin_28729331的博客 200

MySQL配置性能优化赛技术文章

MySQL性能优化大赛技术指南 比赛聚焦数据库性能优化,通过模拟高并发/大数据场景考察MySQL调优能力。核心赛题涵盖innodb_buffer_pool_size参数动态计算、B+树索引设计、EXPLAIN执行计划解读等关键技术,评分侧重响应时间与资源消耗平衡。工具链推荐sysbench压测与pt-query-digest分析,强调通过慢查询日志定位瓶颈的实战方法。参赛者需掌握《高性能MySQL》中的优化原则,并注意避免过度优化导致OOM等陷阱。赛事旨在培养从单机配置到分布式架构的全栈优化能力,优秀方案将

2403_87377178的博客 446

MySQL服务器 - 性能优化

MySQL对于很多Linux从业者而言,是一个非常棘手的问题,多数情况都是因为对数据库出现问题的情况和处理思路不清晰。在进行MySQL的优化之前必须要了解的就是MySQL的查询过程,很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已。 首先我们说一下,关于优化,优化的点又在哪里?其实就是两个方面: 1、安全(数据可持续性) 2、性能(数据的高性能访问)...

weixin_40048408的博客 324

MySQL 深分页如何进行性能优化?

“你了解 MySQL 深分页的性能问题吗?如何优化?” 又或者在真实项目中,当你翻到第 1000 页的数据时,接口突然变得异常缓慢,甚至超时崩溃。你打开慢 SQL 日志,看到那条熟悉的 `LIMIT 100000, 20`,心里默默叹了口气:“啊,又是深分页惹的祸。”

Minoz_wl的博客 1074

MySQL高阶之性能优化篇

这里写目录标题性能优化的思路慢查询日志分析慢日志的工具==EXPLAIN 工具==LIMIT优化:索引优化:其他查询优化:show profile分析语句运维和服务器层面优化 性能优化的思路 首先需要使用【慢查询日志】功能,去获取所有查询时间比较长的SQL语句 查看执行计划,查看有问题的SQL的执行计划 针对查询慢的SQL语句进行优化 使用【show profile[s]】 查看有问题的SQL的性能使用情况 调整操作系统参数优化 升级服务器硬件 慢查询日志 sql> show variables

weixin_40471676的博客 367

「MySQL面试小册」也太香了

爱因斯坦说过”,我也一直把这句话当做自己的座右铭,这句箴言也彻底在“我”身上实现了。每一个程序员都拥有一座大厂梦,我也不例外,去年面试成功斩获了阿里offer!前不久在阿里内网看到了一份【MySQL面试小册】,把MySQL架构与内部模块、MySQL索引原理、MySQL性能优化思路和工具都讲清楚了。

m0_69305074的博客 245

一份超详细的MySQL高性能优化实战总结!

一份超详细的MySQL高性能优化实战总结! MySQL 对于很多 Linux 从业者而言,是一个非常棘手的问题,多数情况都是因为对数据库出现问题的情况和处理思路不清晰。 在进行 MySQL 的优化之前必须要了解的就是 MySQL 的查询过程,很多的查询优化工作实际上就是遵循一些原则让 MySQL 的优化器能够按照预想的合理方式运行而已。 MySQL 查询过程   优化的哲学   ...

zhangbijun1230的专栏 2281
上一篇: 阿里大佬的算法学习笔记:树状数组
下一篇: 数据仓库、数据湖、湖仓一体都是什么意思,究竟有什么区别?
程序员职业指南
博客等级 码龄4年 2136粉丝 960原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值