[转载] logstash推送mysql慢查询日志

最新推荐文章于 2024-08-16 18:50:49 发布

转载最新推荐文章于 2024-08-16 18:50:49 发布 · 368 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/lirulei90/p/10271398.html

文章标签：

#大数据 #操作系统 #数据库

本文介绍如何使用Logstash收集MySQL慢查询日志并推送到Elasticsearch，创建自定义索引，最后通过Kibana展示。适用于CentOS6.6、MySQL5.6.17与5.1.36、Logstash2.0.0、Elasticsearch2.1.0及Kibana4.2.1等环境。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近在搞数据库的慢查采集到ELK里面，找了几篇不错的文章。

grok规则校验： http://grokdebug.herokuapp.com/

其他参考文章： https://wangtuo1224.github.io/2018/07/06/elk-logstash-mysql-slowlog/

###########################################

原文地址： http://blog.51cto.com/ylw6006/1719214

本文将将介绍通过logstash用来收集mysql的慢查询日志，然后推送给elasticsearch，并创建自定义的索引，最终通过kibana进行web展示。

环境介绍：

操作系统版本：centos6.6 64bit

Mysql版本： mysql5.6.17与mysql5.1.36

Logstash版本: logstash-2.0.0.tar.gz

Elasticsearch版本：elasticsearch-2.1.0.tar.gz

Kibana版本：Kibana 4.2.1

Java版本：1.8.0_45

由于mysql5.6.17版本的的slowlog多了一个id字段，所以需要调整grok节的正则配置。

Mysql5.1.36的slowlog：

# tail -f /mydata/slow-query.log 
# Time: 151202 17:29:24
# User@Host: root[root] @  [192.168.1.156]
# Query_time: 6.578696  Lock_time: 0.000039 Rows_sent: 999424  Rows_examined: 999424
SET timestamp=1449048564;
select * from users_test;

Mysql5.6.17的slowlog：对比mysql5.1.36版本的慢查询日志输出，多了Id: 84589。

# tail -f /mydata/slow-query.log 
# Time: 151202 16:09:54
# User@Host: root[root] @  [192.168.1.156]  Id: 84589
# Query_time: 7.089324  Lock_time: 0.000112 Rows_sent: 1  Rows_examined: 33554432
SET timestamp=1449043794;
select count(*) from t1;

这里顺便说一下，之前还测试了Percona Server 5.5.34版本，发现慢查询日志多了Thread_id，Schema，Last_errno，Killed 4个字段。

# tail -f /mydata5.5/slow-query.log 
# User@Host: root[root] @  [192.168.1.228]
# Thread_id: 1164217  Schema: mgr  Last_errno: 0  Killed: 0
# Query_time: 0.371185  Lock_time: 0.000056  Rows_sent: 0  Rows_examined: 0  Rows_affected: 2  Rows_read: 0
# Bytes_sent: 11
SET timestamp=1449105655;
REPLACE INTO  edgemgr_dbcache(id, type, data, expire_time)  VALUES(UNHEX('ec124ee5766c4a31819719c645dab895'), 'sermap', '{\"storages\":{\"sg1-s1\":[{\"download_port\":9083,\"p2p_port\":9035,\"rtmp_port\":9035,\"addr\":\"{\\\"l\\\":{\\\"https://192.168.1.227:9184/storage\\\":\\\"\\\"},\\\"m\\\":{},\\\"i\\\":{\\\"https://192.168.1.227:9184/storage\\\":\\\"\\\"}}\",\"cpu\":6,\"mem\":100,\"bandwidth\":0,\"disk\":0,\"dead\":0}]},\"lives\":{}}', '2016-01-02 09:20:55');

因而5.6.17版本只需要修改logstash.conf配置文件中的grok节内容如下后重启logstash进程即可。

grok {
match => [ "message", "(?m)^# User@Host: %{USER:user}\[[^\]]+\] @ (?:(?<clienthost>\S*) )?\[(?:%{IP:clientip})?\]\s*Id: %{NUMBER:id:int}\s+# Query_time: %{NUMBER:query_time:float}\s+Lock_time: %{NUMBER:lock_time:float}\s+Rows_sent: %{NUMBER:rows_sent:int}\s+Rows_examined: %{NUMBER:rows_examined:int}\s*(?:use %{DATA:database};\s*)?SET timestamp=%{NUMBER:timestamp};\s*(?<query>(?<action>\w+)\s+.*)\n# Time:.*$" ] }