logstash的多种类型日志的配置方法

原创

已于 2022-08-01 18:06:31 修改 · 2.3k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#elk

于 2022-08-01 17:53:55 首次发布

本文介绍了如何使用Logstash进行不同类型的日志采集，包括Nginx的配置，通过修改配置文件并设置日志格式节点；SpringBoot应用的Java日志采集，涉及logback-spring.xml的调整；以及PostgreSQL数据库的表日志采集，通过创建特定的Logstash配置文件实现。

nginx数据采集

1 、logstash配置目录增加配置文件 vi /etc/logstash/conf.d/nginx.conf

input {
   
   
    file {
   
   
        path => "/opt/www/wwwlogs/sjtclogs/*.log"
        ignore_older => 0 
        codec => json
    }
}
filter {
   
   
    mutate {
   
   
      convert => [ "status","integer" ]
      convert => [ "size","integer" ]
      convert => [ "upstreatime","float" ]
      convert => ["[geoip][coordinates]", "float"]
      remove_field => "message"
    }
    date {
   
   
        match => [ "timestamp" ,"dd/mmm/yyyy:hh:mm:ss z" ]
    }
    mutate {
   
   
      remove_field => "timestamp"
    }
}
 
output {
   
   
        elasticsearch {
   
   
        hosts => ["xxx.xx.xx.xx:9200"]
        index => "logstash-nginx"
        user