Logstash接收Kafka数据写入至ES

赵广陆

已于 2023-10-31 00:02:51 修改

阅读量4.7k

点赞数

分类专栏： elasticsearch 文章标签： elasticsearch kafka big data

于 2021-11-12 21:00:00 首次发布

本文链接：https://blog.youkuaiyun.com/ZGL_cyy/article/details/121288237

版权

elasticsearch 专栏收录该内容

26 篇文章

订阅专栏

本文介绍了如何通过Logstash将Kafka数据流经Logstash处理后存入Elasticsearch，并展示了Logstash配置示例，涉及的数据流为Kafka->Logstash->Elasticsearch->Kibana。配置中包括了两个Kafka输入插件，分别监听不同主题的数据，然后通过条件判断将数据分别写入不同的Elasticsearch索引。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

想学习架构师构建流程请跳转：Java架构师系统架构设计

1 Kafka数据写入至ES方式

Kafka->logstash->elasticsearch->kibana(简单，只需启动一个代理程序)
根据以上情况，项目决定采用方案一将Kafka中的数据存入到elasticsearch中去。
项目拓扑图如下所示：

此时消息的整体流向为：日志/消息整体流向Flume => kafka => logstash => elasticsearch => kibana

2 环境搭建

Logstash同步MySql数据到Elasticsearch

input {
kafka {
bootstrap_servers => "192.168.1.252:9092" #kafka服务器地址
topics => "252nginx-accesslog"
batch_size => 5
codec => "json" #写入的时候使用json编码，因为logstash收集后会转换成json格式
group_id => "252nginx-access-log"
consumer_threads => 1
decorate_events => true
}
kafka {
bootstrap_servers => "192.168.1.252:9092"
topics => "system-log-252"
consumer_threads => 1
decorate_events => true
codec => "json"
}
}
output {
if [type] == "252nginx-accesslo" {
elasticsearch {
hosts => ["192.168.1.252:9200"]
index => "252nginx-accesslog-%{+YYYY.MM.dd}"}}
if [type] == "system-log-252" {
elasticsearch {
hosts => ["192.168.1.252:9200"]
index => "system-log-1512-%{+YYYY.MM.dd}"
}
}