Logstash 介绍
-
Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发 送到您最喜欢的一个或多个“存储库”中
-
Logstash 可以水平伸缩,而且logstash是整个ELK中拥有最多插件的一个组件
-
Logstash 基于 Java 和 Ruby 语言开发
Logstash 官网:
Logstash 官方说明
Logstash Reference [7.6] | Elastichttps://www.elastic.co/guide/en/logstash/7.6/index.html
Logstash 架构:
-
输入 Input:用于日志收集,常见插件: Stdin、File、Kafka、Redis、Filebeat、Http
-
过滤 Filter:日志过滤和转换,常用插件: grok、date、geoip、mutate、useragent
-
输出 Output:将过滤转换过的日志输出, 常见插件: File,Stdout,Elasticsearch,MySQL,Redis,Kafka
Logstash 和 Filebeat 比较
-
Logstash 功能更丰富,可以支持直接将非Josn 格式的日志统一转换为Js