将kafka数据导入Elasticsearch

最新推荐文章于 2025-10-12 19:51:58 发布

原创

最新推荐文章于 2025-10-12 19:51:58 发布 · 7.2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #kafka

本文介绍了如何通过Logstash 6.0.0将Kafka中的数据实时导入到Elasticsearch，并最终在Kibana中进行可视化。首先，下载并解压Logstash，然后在config目录下创建配置文件kafka-logstash-es.conf。配置文件内容涉及Kafka输入和Elasticsearch输出插件的设置。接着，使用命令启动Logstash。在数据成功写入Kafka后，可以通过Kibana查看和分析这些数据。

基于当前最新版本logstash 6.0.0 不同版本的logstash输入输出语法略有不同。
Kafka->logstash->elasticsearch->kibana
下载logstash并解压
进入logstash/config目录新建文件 kafka-logstash-es.conf
编写文件kafka-logstash-es.conf
这里写图片描述

input {    //日志写入的数据源
    kafka {
        bootstrap_servers => ["ip:9092"]  //kafka broker
        group_id => "1"   
        topics => ["test-kafka-elasticsearch"]    //kafka topic
        consumer_threads => 5 
        decorate_events => tr