logstash的使用注意事项

说明：本文为作者原创，欢迎大家转载，不过记得声明出处哦~

前言

Logstash的相关文章收录在博客的ELK分类中，相关的内容欢迎大家前往《ELK》进行查阅和交流学习。

 

正文

在使用logstash的过程中，错误的配置将导致无法收集和输出日志。
现在网络上并不容易找到关于logstash的中文文档，这里我提供一个可以参考的在线文档：
https://doc.yonyoucloud.com/doc/logstash-best-practice-cn/index.html

logstash的配置文件默认存放于config目录（也可以自定义，因为在启动logstash时是通过命令参数的方式来主动加载配置文件的，如：“logstash -f ../config/logstash.conf”）。
以logstash.conf为例，下面给出一个基本配置的内容：

# This is a comment. You should use comments to describe
# parts of your configuration.

input {
    stdin {
        codec => plain{
            charset => "GBK"
        }
    }
    file {
#       path =>"C:\Users\Administrator\Desktop\EKL\logs\*.log"
#上一行被注释的配置是错误的，path使用反斜杠“\”将无法被识别，无论是windows还是linux系统都应使用斜杠“/”来划分路径，如下一行的配置
        path =>"C:/Users/Administrator/Desktop/EKL/logs/*.log"
    }
}

#filter {
#
#}

output {
    stdout {
        codec => json_lines
    }
    elasticsearch {
        hosts => ["localhost:9200"]
#       index => "logstash-%{+YYYY.MM.dd}"
        index => "test"
    }
}

在上面的配置代码中，我们需要谨记，配置文件中必须含有一个input和一个output配置，里面的内容可以不写，但是代码结构需要有。
在input配置中，stdin是标准输入的插件，只有设置了stdin，才能在logstash启动后的终端窗口继续输入字符，否则，logstash启动完毕后，终端窗口将无法输入字符。输入字符后点击回车键，将会将当前所输入内容作为一次输入结果发送给输出终端（当然需要设置好相对应的输出终端作为接收或存储数据端）。
file结构体作为输入端读取文件的插件，其中的path的配置尤其需要注意。在windows系统中，文件目录是以反斜杠“\”来分段的，但在logstash配置文件中，“\”将无法被识别，因此需要把URL中的“\”更改为“/”才能生效。

在output配置中，elasticsearch作为与Elasticsearch服务连接的插件，通过hosts配置Elasticsearch的连接地址，index则指定索引（不设置index的情况下，将自动生成一个“logstash-%{+YYYY.MM.dd}”格式的索引进行数据输出存储）。
同时，output中也可以配置file结构体来将数据输出到文件，可以使用sprintf-format格式来自定义带日期命名的URL，如：“path => "/path/to/%{+yyyy/MM/dd/HH}/%{host}.log"”
 

 

-------------------------------------
作者：TGY——一个IT男的画意诗情
来源：优快云