ELK日志收集系统调研(三) -- LogStash常用配置

1.合并日志

部分日志在打印的时候由于格式问题分成多行打印的，但是实际上是一条日志，需要合并成一行显示。可以通过filter中的multiline。

filter {

  multiline {

    type => "type"   #类型

    pattern => "pattern, aregexp" #参数,也可以认为是字符,有点像grep ,如果符合什么字符就交给下面的 what去处理

    negate => boolean

    what => "previous" or "next" #这个是符合上面pattern的要求后具体怎么处理,处理方法有两种,合并到上面一条日志或者下面的日志

  }

}

举例：

filter

{

    multiline

    {

        pattern => "^\s+"

        what => "previous"

    }

}

以上配置说明，以空格开始的行都合并到上一行。

2. 邮件

if [nginx_status] != "200"

{

    exec

    {

        command => "echo '%{@timestamp} %{clientip}: %{message}' | mail -slogstash_errorXXXX@XXX.com"

    }

}

3.删除多余行(drop)

 if [message] =~ /^[\s]*$/

 {

        drop {}

 }

以上配置为删除空白行。

4.结构化日志

对于格式固定的日志，可以使用filter中的grok对原日志进行结构化处理并解析出自己需要的信息，比如日志内容如下：

55.3.244.1 GET /index.html 15824 0.043

filter

{

     grok {

         match => [ "message", "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" ]

} }

通过该filter处理后，在输出的日志中就多出了一些额外的fields.

client: 55.3.244.1  、method: GET、request: /index.html、bytes: 15824 、duration: 0.043