MySQL 通用查询日志和慢查询日志详解

本文深入解析MySQL慢查询日志的概念、配置及分析方法,包括日志的开启、参数调整、日志存储方式以及如何利用mysqldumpslow工具进行高效分析。

慢查询日志概念

      MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志中。long_query_time的默认值为10,意思是运行10S以上的语句。默认情况下,Mysql数据库并不启动慢查询日志,需要我们手动来设置这个参数,当然,如果不是调优需要的话,一般不建议启动该参数,因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持将日志记录写入文件,也支持将日志记录写入数据库表。

慢查询日志相关参数

MySQL 慢查询的相关参数解释:slow_query_log :是否开启慢查询日志,1表示开启,0表示关闭。

1

2

3

4

5

6

slow_query_log    :是否开启慢查询日志,1表示开启,0表示关闭。

log-slow-queries  :旧版(5.6以下版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log

slow-query-log-file:新版(5.6及以上版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log

long_query_time :慢查询阈值,当查询时间多于设定的阈值时,记录日志。

log_queries_not_using_indexes:未使用索引的查询也被记录到慢查询日志中(可选项)。

log_output:日志存储方式。log_output='FILE'表示将日志存入文件,默认值是'FILE'。log_output='TABLE'表示将日志存入数据库,这样日志信息就会被写入到mysql.slow_log表中。MySQL数据<br>库支持同时两种日志存储方式,配置的时候以逗号隔开即可,如:log_output='FILE,TABLE'。日志记录到系统的专用日志表中,要比记录到文件耗费更多的系统资源,因此对于需要启用慢查询日志,又需<br>要能够获得更高的系统性能,那么建议优先记录到文件。

慢查询日志配置

默认情况下slow_query_log的值为OFF,表示慢查询日志是禁用的,可以通过设置slow_query_log的值来开启,如下所示:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

mysql> show variables like '%slow_query_log%';

+---------------------+------------------------------------------+

| Variable_name       | Value                                    |

+---------------------+------------------------------------------+

| slow_query_log      | OFF                                      |

| slow_query_log_file | /usr/local/mysql/data/localhost-slow.log |

+---------------------+------------------------------------------+

2 rows in set (0.00 sec)

 

mysql> set global slow_query_log=1;

Query OK, 0 rows affected (0.00 sec)

 

mysql> show variables like '%slow_query_log%';

+---------------------+------------------------------------------+

| Variable_name       | Value                                    |

+---------------------+------------------------------------------+

| slow_query_log      | ON                                       |

| slow_query_log_file | /usr/local/mysql/data/localhost-slow.log |

+---------------------+------------------------------------------+

2 rows in set (0.00 sec)

#使用set global slow_query_log=1开启了慢查询日志只对当前数据库生效,MySQL重启后则会失效。如果要永久生效,就必须修改配置文件my.cnf(其它系统变量也是如此)

修改my.cnf文件,增加或修改参数slow_query_log 和slow_query_log_file后,然后重启MySQL服务器,如下所示:

slow_query_log =1
slow_query_log_file=/usr/local/mysql/data/localhost-slow.log

mysql> show variables like 'slow_query%';
+---------------------+---------------------+
| Variable_name       | Value               |
+---------------------+---------------------+
| slow_query_log      | ON                  |
| slow_query_log_file | /usr/local/mysql/data/localhost-slow.log |
+---------------------+---------------------+
2 rows in set (0.00 sec)
 
mysql> 
#慢查询的参数slow_query_log_file ,它指定慢查询日志文件的存放路径,系统默认会给一个缺省的文件host_name-slow.log

      那么开启了慢查询日志后,什么样的SQL才会记录到慢查询日志里面呢? 这个是由参数long_query_time控制,默认情况下long_query_time的值为10秒,可以使用命令修改,也可以在my.cnf参数里面修改。关于运行时间正好等于long_query_time的情况,并不会被记录下来。也就是说,在mysql源码里是判断大于long_query_time,而非大于等于。从MySQL 5.1开始,long_query_time开始以微秒记录SQL语句运行时间,之前仅用秒为单位记录。如果记录到表里面,只会记录整数部分,不会记录微秒部分。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

mysql> show variables like 'long_query_time';

+-----------------+-----------+

| Variable_name   | Value     |

+-----------------+-----------+

| long_query_time | 10.000000 |

+-----------------+-----------+

1 row in set (0.00 sec)

 

mysql>

mysql> set global long_query_time=4;

Query OK, 0 rows affected (0.00 sec)

 

mysql> show variables like 'long_query_time';

+-----------------+-----------+

| Variable_name   | Value     |

+-----------------+-----------+

| long_query_time | 10.000000 |

+-----------------+-----------+

1 row in set (0.00 sec)

 

mysql>

     如上所示,我修改了变量long_query_time,但是查询变量long_query_time的值还是10,难道没有修改到呢?注意:使用命令 set global long_query_time=4修改后,需要重新连接或新开一个会话才能看到修改值。你用show variables like 'long_query_time'查看是当前会话的变量值,你也可以不用重新连接会话,而是用show global variables like 'long_query_time'; 如下所示:  

mysql> show variables like 'long_query_time'
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
1 row in set (0.00 sec)

mysql> 
mysql> show global variables like 'long_query_time';
+-----------------+----------+
| Variable_name   | Value    |
+-----------------+----------+
| long_query_time | 4.000000 |
+-----------------+----------+
1 row in set (0.00 sec)

mysql> 

log_output 参数是指定日志的存储方式。log_output='FILE'表示将日志存入文件,默认值是'FILE'。log_output='TABLE'表示将日志存入数据库,这样日志信息就会被写入到mysql.slow_log表中。MySQL数据库支持同时两种日志存储方式,配置的时候以逗号隔开即可,如:log_output='FILE,TABLE'。日志记录到系统的专用日志表中,要比记录到文件耗费更多的系统资源,因此对于需要启用慢查询日志,又需要能够获得更高的系统性能,那么建议优先记录到文件.

1

2

3

4

5

6

7

8

9

mysql> show variables like '%log_output%';

+---------------+-------+

| Variable_name | Value |

+---------------+-------+

| log_output    | TABLE |

+---------------+-------+

1 row in set (0.00 sec)

 

mysql>

系统变量log-queries-not-using-indexes:未使用索引的查询也被记录到慢查询日志中(可选项)。如果调优的话,建议开启这个选项。另外,开启了这个参数,其实使用full index scan的sql也会被记录到慢查询日志。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

mysql> show variables like 'log_queries_not_using_indexes';

+-------------------------------+-------+

| Variable_name                 | Value |

+-------------------------------+-------+

| log_queries_not_using_indexes | OFF   |

+-------------------------------+-------+

1 row in set (0.00 sec)

  

mysql> set global log_queries_not_using_indexes=1;

Query OK, 0 rows affected (0.00 sec)

  

mysql> show variables like 'log_queries_not_using_indexes';

+-------------------------------+-------+

| Variable_name                 | Value |

+-------------------------------+-------+

| log_queries_not_using_indexes | ON    |

+-------------------------------+-------+

1 row in set (0.00 sec)

  

mysql>

系统变量log_slow_admin_statements表示是否将慢管理语句例如ANALYZE TABLE和ALTER TABLE等记入慢查询日志

mysql> show variables like 'log_slow_admin_statements';
+---------------------------+-------+
| Variable_name             | Value |
+---------------------------+-------+
| log_slow_admin_statements | OFF   |
+---------------------------+-------+
1 row in set (0.00 sec)

mysql> 

另外,如果你想查询有多少条慢查询记录,可以使用系统变量。

mysql> show global status like '%slow_queries%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| Slow_queries  | 0     |
+---------------+-------+
1 row in set (0.00 sec)

mysql> 

日志分析工具mysqldumpslow

在实际生产环境中,如果要手工分析日志,查找、分析SQL,显然是个体力活,MySQL提供了日志分析工具mysqldumpslow

查看mysqldumpslow的帮助信息:

 mysqldumpslow --help

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

-s, 是表示按照何种方式排序

    c: 访问计数

 

    l: 锁定时间

 

    r: 返回记录

 

    t: 查询时间

 

    al:平均锁定时间

 

    ar:平均返回记录数

 

    at:平均查询时间

 

-t, 是top n的意思,即为返回前面多少条的数据;

-g, 后边可以写一个正则匹配模式,大小写不敏感的;

 

比如:

得到返回记录集最多的10个SQL。

mysqldumpslow -s r -t 10 /database/mysql/mysql06_slow.log

 

得到访问次数最多的10个SQL

mysqldumpslow -s c -t 10 /database/mysql/mysql06_slow.log

 

得到按照时间排序的前10条里面含有左连接的查询语句。

mysqldumpslow -s t -t 10 -g “left join” /database/mysql/mysql06_slow.log

 

另外建议在使用这些命令时结合 | 和more 使用 ,否则有可能出现刷屏的情况。

mysqldumpslow -s r -t 20 /mysqldata/mysql/mysql06-slow.log | more

<think> 嗯,用户想要详细了解MySQL日志的解析。从引用内容看,MySQL主要有事务日志、二进制日志、错误日志查询日志慢查询日志这几类。用户可能是DBA或者开发人员,需要全面了解日志机制来优化数据库或排查问题。 用户引用的资料已经比较全面了,但需要更系统地整理。特别是引用[2]中提到的innodb_flush_log_at_trx_commit参数配置很关键,这直接影响到事务持久性性能平衡。用户应该很关心实际运维中的配置建议。 考虑到用户的技术背景,准备详细解释每种日志的机制时,会补充一些底层原理。比如InnoDB事务日志的write-ahead logging机制,以及二进制日志的三种格式差异。用户可能还需要知道如何根据业务场景配置日志参数,比如高并发时怎么平衡安全性能。 注意到引用[4]提供了优化案例最佳实践,这个很实用。会在回复中加入类似的场景化建议,比如磁盘空间不足时的日志清理策略。用户可能遇到过慢查询导致的问题,所以慢日志分析部分要强调pt-query-digest工具的使用。 回复结构上,准备按日志类型分类说明,每类包含作用、配置运维要点。最后补充一个配置表格,方便用户快速查阅。用户似乎更关注实际应用而非理论,所以优化建议会具体到参数设置命令行操作。 </think>以下是MySQL日志系统的详细解析,结合核心功能与运维实践进行说明: --- ### 一、MySQL核心日志类型 1. **事务日志 (InnoDB Redo Log)** - **作用**:确保事务的持久性(ACID中的D),记录物理页修改(`ib_logfile0/1`) - **关键配置**: ```sql SHOW GLOBAL VARIABLES LIKE 'innodb_log%'; ``` - `innodb_log_file_size`:单个日志文件大小(建议设置为1-2GB) - `innodb_log_files_in_group`:日志文件数量(默认2) - `innodb_flush_log_at_trx_commit`: - `=1`:每次事务提交刷盘(最安全,性能最低)[^2] - `=2`:每秒刷盘(可能丢失1秒数据) - `=0`:依赖OS刷盘(风险最高) - **恢复机制**:崩溃重启时通过重放redo log恢复未写入数据文件的事务 2. **二进制日志 (Binlog)** - **作用**:记录所有**数据变更语句**(DDL/DML),用于主从复制数据恢复 - **三种格式**: | 格式 | 特点 | 示例 | |---------------|-----------------------------|--------------------------| | STATEMENT | 记录SQL语句,日志量小 | `UPDATE users SET age=30` | | ROW(推荐) | 记录行数据变化,安全可靠 | 记录`id=1`的age从25→30 | | MIXED | 混合模式,自动切换 | | - **运维命令**: ```sql -- 查看日志状态 SHOW MASTER STATUS; -- 手动刷新日志 FLUSH LOGS; ``` 3. **错误日志 (Error Log)** - **定位路径**: ```sql SHOW VARIABLES LIKE 'log_error'; ``` - **记录内容**: - 服务启动/停止信息 - 严重错误(如崩溃、表损坏) - 事件调度器运行信息 4. **查询日志 (General Query Log)** - **启用方式**(生产环境慎用): ```sql SET GLOBAL general_log = ON; SET GLOBAL log_output = 'TABLE'; -- 输出到mysql.general_log表 ``` 5. **慢查询日志 (Slow Query Log)** - **阈值设置**: ```sql -- 超过2秒的查询 SET GLOBAL long_query_time = 2; -- 记录未使用索引的查询 SET GLOBAL log_queries_not_using_indexes = ON; ``` - **分析工具**: ```bash mysqldumpslow -s t /var/log/mysql-slow.log pt-query-digest /var/log/mysql-slow.log ``` --- ### 二、日志管理最佳实践 1. **安全与性能平衡** ```sql /* 推荐生产环境配置 */ SET GLOBAL innodb_flush_log_at_trx_commit = 1; -- ACID严格保障 SET GLOBAL sync_binlog = 1; -- Binlog每次提交刷盘 SET GLOBAL expire_logs_days = 7; -- Binlog保留7天 ``` 2. **磁盘空间优化** - **日志轮转策略**(示例配置`/etc/logrotate.d/mysql`): ```conf /var/log/mysql/mysql-slow.log { daily rotate 30 compress delaycompress missingok notifempty postrotate mysqladmin flush-logs endscript } ``` 3. **故障排查案例** - **场景**:磁盘空间不足 ```bash # 查找大日志文件 du -h /var/lib/mysql | sort -rh | head -n 10 # 清理旧Binlog(慎用!) PURGE BINARY LOGS BEFORE '2023-01-01'; ``` --- ### 三、关键配置速查表 | 日志类型 | 配置项 | 推荐值 | 影响 | |----------------|--------------------------------|-------------|--------------------| | **事务日志** | `innodb_flush_log_at_trx_commit` | 1(金融)/2(业务) | 数据安全 vs 写入性能 | | **Binlog** | `sync_binlog` | 1 | 主从数据一致性 | | **慢查询日志** | `long_query_time` | 0.5-2秒 | 捕获性能瓶颈 | | **通用日志** | `general_log` | OFF | 避免性能开销 | > **注**:高并发场景下,`innodb_flush_log_at_trx_commit=1`可能造成I/O瓶颈,可通过以下方案缓解: > 1. 使用SSD提升磁盘IOPS > 2. 增加`innodb_log_buffer_size`(默认16MB→64MB) > 3. 组提交(Group Commit)优化[^4] ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值