使用ELK监控mysql慢日志查询记录

最新推荐文章于 2025-11-12 16:24:09 发布

转载最新推荐文章于 2025-11-12 16:24:09 发布 · 1.6k 阅读

elk 专栏收录该内容

23 篇文章

订阅专栏

本文介绍如何使用Logstash收集MySQL慢查询日志，并将其发送到Elasticsearch进行分析处理，最后通过Kibana展示分析结果。文章详细介绍了配置过程，包括Logstash配置文件的编写、过滤SQL语句的方法及启动各组件的步骤。

前言

前面讲了elk每个组件已经x-pack的安装使用，具体联合操作没有详细讲。本文使用logstach收集mysql慢日志，传送给elasticsearch进行分析处理，使用kibana进行web端的显示。

mysql开启慢日志记录

百度。

增加logstach的一个新配置文件

新增一个配置文件启动使用命令参数 -f 引入。
mysql-slow.log.conf

input {
  file {
    type => "mysql-slow"
    path => "/var/lib/mysql/mysql_slow_query01.log"
    codec => multiline {
      pattern => "^# User@Host:"
      negate => true
      what => "previous"
    }
  }
}
#input节的配置定义了输入的日志类型为mysql慢查询日志类型以及日志路径，采用合并多行数据。negate字段是一个选择开关，可以正向匹配和反向匹配
filter {
  # drop sleep events
  grok {
    match => { "message" => "SELECT SLEEP" }
    add_tag => [ "sleep_drop" ]
    tag_on_failure => [] # prevent default _grokparsefailure tag on real records
  }
  if "sleep_drop" in [tags] {
    drop {}
  }
#filter节的配置定义了过滤mysql查询为sleep状态SQL语句
grok {
match => [ "message", "(?m)^# User@Host: %{USER:user}\[[^\]]+\] @ (?:(?<clienthost>\S*) )?\[(?:%{IP:clientip})?\]\s*# Query_time: %{NUMBER:query_time:float}\s+Lock_time: %{NUMBER:lock_time:float}\s+Rows_sent: %{NUMBER:rows_sent:int}\s+Rows_examined: %{NUMBER:rows_examined:int}\s*(?:use %{DATA:database};\s*)?SET timestamp=%{NUMBER:timestamp};\s*(?<query>(?<action>\w+)\s+.*)\n# Time:.*$" ]
}

  date {
    match => [ "timestamp", "UNIX" ]
    remove_field => [ "timestamp" ]
  }
}
#grok节定义了慢查询日志输出的正则切割，这个容易头晕眼花！
output {
 stdout {
 codec => rubydebug {}
}
 elasticsearch {
 hosts => "192.168.0.111:9200"
 user => "elastic"
 password => "123456"
 index => "mysql-server81-%{+YYYY.MM.dd}"
}
}