Kafka和ElasticSearch的整合

最新推荐文章于 2025-05-02 17:20:08 发布

define_us

最新推荐文章于 2025-05-02 17:20:08 发布

阅读量8.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： java 大数据技术

本文链接：https://blog.youkuaiyun.com/define_us/article/details/81903268

java 同时被 2 个专栏收录

221 篇文章

订阅专栏

大数据技术

14 篇文章

订阅专栏

本文介绍三种从Kafka传输数据至Elasticsearch的方法，并重点讲解了使用Logstash作为中间件的方案。包括如何配置Kafka Log4j Appender以发送日志到Kafka及Logstash的配置细节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

三种方案

Kafka->logstash->elasticsearch->kibana(简单，只需启动一个代理程序)
Kafka->kafka-connect-elasticsearch->elasticsearch->kibana(与confluent绑定紧，有些复杂) https://github.com/confluentinc/kafka-connect-elasticsearch
Kafka->elasticsearch-river-kafka-1.2.1-plugin->elasticsearch->kibana(代码很久没更新，后续支持比较差)

本文将采用方案一来完成这一伟大目标

日志写到kafka

首先，是先要向kafka中写入日志,对于0.9+以上版本的kafka，我们可以采用如下配置方式。

       <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-log4j-appender</artifactId>
            <version>0.10.2.1</version>
        </dependency>

github上有开源的logback-kafka-appender提供。
对于早于该版本的kafka，可以直接使用kafka包中的KafkaLog4jAppender。其他日志方式类似。初始化logger的用法如下

    static {
        KafkaLog4jAppender kafkaAppender = new KafkaLog4jAppender();
        kafkaAppender.setBrokerList(ConfigService.getAppConfig().
                getProperty("log4j.appender.kafkalog.brokerList", ipListStr));
        kafkaAppender.setTopic(logTopicName);
        kafkaAppender.setCompressionType("gzip");
        kafkaAppender.setSyncSend(false);
        kafkaAppender.setLayout(new PatternLayout("%p@@log@@%d{yyyy-MM-dd@@HH:mm:ss}@@%m%n"));
        kafkaAppender.activateOptions();
        tripLogger.addAppender(kafkaAppender);
        tripLogger.setLevel(Level.INFO);
    }

kafka对接ES

修改配置如下.ES提供REST访问的9200端口。

input {
    kafka {
        bootstrap_servers => ["10.237.64.46:9094"]
        group_id => "es-transfer"
        topics => ["JSON_PRODUCE_TOPIC"]
        consumer_threads => 5
        decorate_events => true
        codec => "json"
        }
}
output {
    elasticsearch {
        hosts => ["10.5.145.101:9200"]
        index => "test_kafka"
        codec => "json"
   }
}

启动导数程序如下

sh ./bin/logstash -f ./config/kafka-logstash-es.conf