大数据系列 | 日志数据采集工具Logstash的架构分析及应用

1. Logstash原理分析

   Logstash是Elastic公司开源的收集、解析和转换日志的工具，可以方便地把分散的、多样化的日志收集起来，然后进行自定义处理，最后将其传输到指定的目的地。Logstash是由JRuby语言编写的，使用基于消息的简单架构，在JVM上运行。
   Logstash常被用于在日志关系系统中作为日志采集设备，最常被用于ELK（Elasticsearch +Logstash + Kibana）中作为日志收集器。

2. Logstash架构分析

   Logstash的架构非常简单，类似于Flume，主要由Input、Filter和Output组成。Logstash收集日志的基本流程是：Input→Filter→Output，如下图：

    ■ Input：输入数据源。
    ■ Filter：数据处理。
    ■ Output：输出目的地。

Filter 组件是可选项，Input组件和Output组件是不能缺少