logstash config kafka plugins

2019独角兽企业重金招聘Python工程师标准>>>

之前测试elk的使用，最近打算加入消息中间件kafka。

kafka的安装与使用如下

官网地址：http://kafka.apache.org/，下载完解压即可。

1.start server:需要先启动ZooKeeper然后在启动kafka服务

bin/zookeeper-server-start.sh config/zookeeper.properties

bin/kafka-server-start.sh config/server.properties

2.creat topic:创建一个主题

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

3.查看主题创建是否成功

bin/kafka-topics.sh --list --zookeeper localhost:2181

kafka提供了内置的生产者可以测试

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消费者查看

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

接下来和logstash集成

logstash配置文件如下

input {
    kafka {
      bootstrap_servers => "192.168.0.110:9092"
      topics => ["test"]
    }
}

## Add your filters / logstash plugins configuration here

output {
    elasticsearch {
        hosts => "elasticsearch:9200"
        index => "logstash-%{+YYYY.MM.dd}"
    }
}

ELK version:5.x

 

转载于:https://my.oschina.net/scottCoder/blog/853708