使用logstash将kafka数据入到elasticsearch

最新推荐文章于 2025-05-24 11:53:37 发布
最新推荐文章于 2025-05-24 11:53:37 发布
阅读量4.9k 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 数据处理 文章标签： logstash 数据处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u011431128/article/details/77334038
本文介绍如何使用 Logstash 从 Kafka 消费消息并发送到 Elasticsearch 的过程。包括 Logstash 的安装、配置文件的创建及多输入源的处理方式，并提供启动命令及必要的插件安装步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

logstash

安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.1.tar.gz

 

tar zxf logstash-5.5.1.tar.gz

 

cd logstash-5.5.1

 

新建配置文件

vi config/kafka-logstash-es.conf

如下内容：

input {

    kafka {

        bootstrap_servers=> "192.168.101.200:9092"

        group_id =>"es"

        topics =>"topic123"

        consumer_threads =>1

        decorate_events =>true

        }

    }

output {

    elasticsearch {

        hosts =>"192.168.101.200:9200"

    index =>"topic123"

          }

     }

 

多个input如下格式：

 

input {

    kafka {

        bootstrap_servers=> "192.168.101.200:9092"

        group_id =>"es"

        topics =>"topic123"

        consumer_threads =>1

        decorate_events =>true

        type =>"topic123"

        }

    kafka {

        bootstrap_servers=> "192.168.101.200:9092"

        group_id =>"es"

        topics =>"topic1"

        consumer_threads =>1

        decorate_events =>true

        type =>"topic1"

        }

    }

output {

        if[type] =="topic123"{

                elasticsearch{

                        hosts=> "192.168.101.200:9200"

                        index=> "topic123"

                }

        }else{

                elasticsearch{

                hosts =>"192.168.101.200:9200"

                index =>"topic1"

          }

        }

     }

安装kafka插件(不确定是否必须)

bin/logstash-plugin install logstash-input-kafka

启动

bin/logstash -f config/kafka-logstash-es.conf–debug

 

参考资料：

logstash 官方手册 （参数配置等都看这个）

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html

Logstash消费kafka同步数据到Elasticsearch
Map的博客
05-08 6148
1. 同步数据到Elastic几种方式 目前要把kafka中的数据传输到elasticsearch大概有一下几种方法： 1) logstash 2)flume 3)spark streaming 4)kafka connect 5)开发程序消费kafka写入elasticsearch 本文介绍如何使用Logstash将Kafka中的数据写入到ElasticSearch，这里Kafka、logstash、elasticsearch安装就详述了。 Logstash工作的流程由三部分组成： in
elasticsearch+logstash+kafka配置说明
pt574610023的博客
11-30 1276
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。本文档简述ElasticSearch配合kafka单机部署的一个环境，以及j...
logstash+kafka+es（3）
ls_call520的专栏
01-11 249
logstash+kafka+es
Logstash输入Kafka输出Es配置
技术人集结地
12-12 3701
Logstash是一个开源的数据收集引擎，具有实时管道功能。它可以从各种数据源中动态地统一和标准化数据，并将其发送到你选择的目的地。Logstash的早期目标主要是用于收集日志，但现在的功能已经远远超出这个范围。任何事件类型都可以通过Logstash进行分析，通过输入、过滤器和输出插件进行转换。Logstash的工作原理是使用管道方式进行日志的搜集处理和输出。这个管道包括三个阶段：输入、处理和输出。输入插件从数据源那里消费数据，过滤器插件根据你的期望修改数据，输出插件将数据写入目的地。
如何保证 Kafka 数据实时同步到 Elasticsearch？
weixin_45762066的博客
05-24 1155
*** 自定义数据转换器（对应配置中的value.converter）*/// 数据转换入口方法@Overridetry {// 数据清洗：IP地址标准化// 去除空格// 添加清洗标记// 生成数据清洗哈希值。
Logstash消费kafka同步数据到elasticsearch的配置文件
beyond丿灬的博客
04-01 1363
input{ kafka{ bootstrap_servers => ["192.169.160.25:7091,192.169.160.26:7092,192.169.160.27:7093,192.169.160.28:7094,192.169.160.29:7095"] #kafka的地址,集群有逗号隔开 client_id => "cpm_add...
kafka（四）:整合logstash
designer01的博客
08-13 273
logstash作用 logstash的作用是日志收集器，在我这个例子里，我的input是命令行的标准输入，而output为kafka和命令行标准输出。 logstash的配置信息为： input { stdin {} } output { kafka { topic_id => "drTest" bootstrap_servers => "192.
通过logstash消费kafka数据到elasticsearch
qq_22331931的博客
05-06 6549
logstash是什么？ Logstash是一个开源数据收集引擎，具有实时管道功能。 Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。 数据往往以各种各样的形式，或分散或集中地存在于很多系统中。 关于logstash的介绍官网写的非常详细，这里就不再过多介绍了，感兴趣的小伙伴可以自行去官网查看，我们今天的主要目的是如果通过logstash从kafka消费数据，并对数据进行简单的处理然后写入到elasticsearch中 一、运行kafka并写入测试数据 我们直接
Filebeat + Logstash + Kafka + Elasticsearch 架构部署详细步骤
panbuhei
07-29 4877
此文档是在生产环境中搭建日志(Java)收集系统后的整理文档，其中除了 elk 常规架构以外，还添加了 kafka 集群，可以起到解耦和缓冲(削峰)的作用。 还部署了 kafka 的 web 端监控 kafka-eagle 和 elasticsearch 的 web 端cerebro。 最后还增加了 Nginx 日志收集(测试)的相关配置文件。
centos7环境下通过logstash从kafka取数据到es简单配置
HHNL_DDZQ的博客
08-30 1237
1.进入logstash安装目录下的目录：cd config 2.创建es.config文件（文件名称自定义） 3.es.config内容如下： input{       kafka{         bootstrap_servers => [""ip:port","ip:port","ip:port""]（zookeeper或者kafka地址）         client_id ...
使用 logstash + kafka + elasticsearch 实现日志监控
热门推荐
github_39939645的博客
12-23 1万+
在本文中，将介绍使用 logstash + kafka + elasticsearch 实现微服务日志监控与查询。
Logstash接收Kafka数据写入至ES
赵广陆
11-12 4781
1 Kafka数据写入至ES方式 Kafka->logstash->elasticsearch->kibana(简单，只需启动一个代理程序) 根据以上情况，项目决定采用方案一将Kafka中的数据存入到elasticsearch中去。 项目拓扑图如下所示： 此时消息的整体流向为：日志/消息整体流向Flume => kafka => logstash => elasticsearch => kibana 2 环境搭建 Logstash同步MySql数据到Elast
logstash同步数据从kafka到es集群
qq_38220334的博客
05-17 2705
【代码】logstash同步数据从kafka到es集群。
Logstash读取kafka到ElasticSearch的配置文档
liuzhupeng的专栏
06-12 2301
文章目录一、架构二、input 读取kafka配置2.1、简单配置及说明2.2 protobuf数据反序列化2.2.1 protocol buffer简介2.2.2 安装插件2.2.3 ReleaseRecordES.proto文件2.2.4 protoc命令编译proto文件为ruby文件2.2.5 input.kafka配置protobuf反序列化三、filter对数据源进行过滤3.1 elasticsearch plugin3.2 data plugin3.3 ruby plugin四、output4
logstash使用总结
csdncjh的博客
06-11 4910
如下实现了取@timestamp的天，动态创建index索引以itemId字段作为索引idlush_size和两个参数共同控制 Logstash 向 Elasticsearch 发送批量数据的行为。以上面示例来说：Logstash 会努力攒到 5条数据一次性发送出去，但是如果 5秒钟内也没攒够 5条，Logstash 还是会以当前攒到的数据量发一次。flush_size的大小不能超过 Logstash 运行时的命令行参数设置的batch_size，否则将以batch_size为批量发送的大小。
Elasticsearch：使用 Logstash 构建从 Kafka 到 Elasticsearch 的管道 - Nodejs
Elastic 中国社区官方博客
03-05 1951
在今天的文章中，我将描述从 Nodejs => Kafka => Logstash => Elasticsearch 这样的一个数据流。在之前的文章 “Elastic：Data pipeline：使用 Kafka =＞ Logstash =＞ Elasticsearch” 中，我也展示了使用 Python 的方法。
logstash从kafka采集数据
小诸葛的博客
05-17 2240
1、修改logstash.conf 1.1添加kafka输入 bootstrap_servers：kafka broker地址 topics：kafka topic名称 input{ kafka { bootstrap_servers => ["xxx.xxx.xxx.xxx:9092"] auto_offset_reset => "latest" consumer_threads => 3 de
Logstash的使用（从Kafka到ES）
蜗牛小将
09-05 2450
Logstash介绍 Logstash是一个数据收集处理转发系统，是 Java开源项目。 它只做三件事：输入、清洗过滤和输出。如下图： logstash通过在配置文件编写输入（input），过滤清洗（filter），输出（output）相关规则，对数据收集转发。 具体可以在安装目录下的conf/目录下新建配置文件，如logstash_indexer.conf 如下 #输入 input { ...
logstash将采取kafka的数据到elasticSearch配置
oujunjin的博客
10-19 2291
# 如下是logstash 将 kafka的数据到elasticSearch 的主要配置。 # 其中 consumer_threads 的配置跟kafka集群的分片和logstash的集群有很大关系 。 # kafka的每个分片只能给一个comsumer消费，consumer_threads如果大于kafka分片，将导致consumer_threads有些线程空闲；consumer_threa
logstash采kafka入es提升性能
最新发布
07-01
<think>我们正在讨论如何优化Logstash从Kafka采集数据并写入Elasticsearch的性能。根据提供的引用内容，我们可以从多个方面进行调优，包括Logstash配置优化、Kafka配置优化以及Elasticsearch优化。以下是一些关键的优化点： ###1. Logstash配置优化-**增加管道工作线程（pipeline.workers）**：该参数控制Logstash处理事件的线程数。默认值为CPU核心数。可以适当增加，但不要超过CPU核心数太多，以避免上下文切换开销。例如：```rubypipeline.workers:8```- **调整批处理大小（pipeline.batch.size）**：该参数定义每个工作线程在处理前收集的事件数。增大批处理大小可以提高吞吐量，但会增加内存消耗。例如：```rubypipeline.batch.size:2000```- **调整批处理延迟（pipeline.batch.delay）**：该参数定义批处理的最大等待时间（毫秒）。如果工作线程在延迟时间内未收集到足够的批处理大小的事件，也会发送当前批次。适当增大延迟可以增加批处理大小，但会增加延迟。例如：```rubypipeline.batch.delay:50``` -**使用持久化队列（queue.type）**：启用持久化队列（persisted）可以防止数据丢失，并允许Logstash在重启后继续处理事件。同时，可以调整队列大小（queue.max_bytes）：```rubyqueue.type: persistedqueue.max_bytes:8gb```- **优化输入/输出插件配置**：-Kafka输入插件：增加`consumer_threads`（消费者线程数）以并行消费Kafka分区。通常设置为Kafka主题的分区数。```rubyinput {kafka {topics=> ["your_topic"]consumer_threads=>8...}}```-Elasticsearch输出插件：调整`workers`（输出线程数）和`flush_size`（批量写入大小）。例如：```rubyoutput {elasticsearch {hosts=> ["http://localhost:9200"]workers =>4flush_size=>5000...}}``` ###2. Kafka配置优化-**增加分区数**：Kafka主题的分区数决定了并行消费的能力。确保分区数足够（至少等于Logstash的`consumer_threads`数），以充分利用并行消费。- **调整副本数（replicationfactor）**：增加副本数可以提高数据的可靠性和容灾能力（如引用[4]所述）。 -**调整生产者/消费者参数**：-生产者：提高`batch.size`和`linger.ms`以增加批处理大小，减少网络请求。-消费者：调整`fetch.min.bytes`和`fetch.max.wait.ms`以平衡吞吐量和延迟。 ###3. Elasticsearch优化-**调整索引设置**：-增加索引刷新间隔（`refresh_interval`），减少刷新频率，从而减少I/O操作。例如：```jsonPUT/your_index/_settings{"index":{"refresh_interval": "30s"}}```-调整批量写入大小（如Logstash的`flush_size`）以匹配Elasticsearch的批量处理能力。 -**增加节点和分片**：水平扩展Elasticsearch集群，增加数据节点。同时，合理设置索引的分片数（避免过多或过少）。 ###4.系统级优化- **资源分配**：确保Logstash、Kafka和Elasticsearch有足够的资源（CPU、内存、磁盘I/O）。监控系统资源使用情况，避免资源瓶颈。- **JVM调优**：调整Logstash和Elasticsearch的JVM堆大小。通常，Logstash堆大小设置为4GB-8GB，Elasticsearch堆大小不超过物理内存的50%，且不超过32GB。###5.其他优化- **使用Kafka的批处理**：在Logstash Kafka输入插件中，可以调整`fetch_min_bytes`和`fetch_max_wait_ms`以增加从Kafka拉取的数据量。 -**避免不必要的处理**：简化Logstash过滤器（如Grok、Mutate），或使用更高效的插件（如Dissect代替Grok）。如果不需要复杂处理，可以考虑使用KafkaConnect直接写入Elasticsearch。###性能监控在调优过程中，使用监控工具（如Elasticsearch的Monitoring、Kafka的JMX指标、Logstash的监控API）跟踪性能指标，如吞吐量、延迟、资源使用率等，以便定位瓶颈。###总结性能优化是一个迭代过程，需要根据实际负载和系统表现调整参数。建议一次只调整一个参数，观察效果，逐步优化。 §§相关问题§§1.如何监控Logstash、Kafka和Elasticsearch的性能指标？ 2.在Logstash中，如何选择合适的批处理大小（batchsize）和批处理延迟（batchdelay）？ 3. Kafka分区数量如何影响Logstash的消费性能？ 4.在Elasticsearch中，如何确定最佳的分片数量和副本数量？ 5.如何调整Logstash的JVM堆大小？</think>### Logstash-Kafka-Elasticsearch 性能优化指南 以下配置调优方案基于引用内容[^1][^2][^3][^4]，从输入、处理、输出三个环节优化数据流性能： --- #### **一、Kafka 调优（输入源优化）** 1. **分区扩容** - 增加 Topic 分区数（partition）提升并行消费能力： ```bash bin/kafka-topics.sh --alter --topic your_topic --partitions 16 --zookeeper localhost:2181 ``` - 分区数建议 ≥ Logstash 消费线程数（见下文）[^4] 2. **副本与容灾** - 提高副本数（replica）保障数据安全（至少 2）： ```bash bin/kafka-topics.sh --alter --topic your_topic --replication-factor 2 ``` 3. **生产者批处理** - 增大生产者批处理大小（提升吞吐）： ```properties batch.size=524288 # 512KB linger.ms=100 # 适当增加等待时间 ``` --- #### **二、Logstash 核心调优（处理环节）** 1. **并行消费配置** ```ruby input { kafka { topics => ["your_topic"] consumer_threads => 8 # 建议等于Kafka分区数[^3] fetch_min_bytes => 102400 # 单次最小拉取量(100KB) group_id => "logstash_high_throughput" } } ``` 2. **管道与批处理** ```yml # logstash.yml pipeline.workers: 8 # CPU核心数的1-2倍 pipeline.batch.size: 2000 # 增大批处理事件数 pipeline.batch.delay: 100 # 批处理等待毫秒(平衡延迟与吞吐) queue.type: persisted # 启用磁盘队列防数据丢失[^4] queue.max_bytes: 8gb # 队列容量(根据磁盘空间调整) ``` 3. **过滤器优化** - 移除不必要的过滤器（如 `grok` 复杂解析） - 使用 `dissect` 替代 `grok`（性能提升 2-5 倍） - 缓存静态数据（如 `mutate` 添加固定字段） --- #### **三、Elasticsearch 输出优化** ```ruby output { elasticsearch { hosts => ["es-node1:9200", "es-node2:9200"] index => "logs-%{+YYYY.MM.dd}" workers => 4 # 输出线程数 flush_size => 5000 # 批量写入大小(匹配ES承受力) template_overwrite => true # 重要性能参数 http_compression => true # 启用压缩传输 retry_on_conflict => 3 # 写冲突重试 } } ``` --- #### **四、系统级优化** 1. **资源分配** - Logstash JVM 堆内存： ```conf # jvm.options -Xms4g -Xmx4g # 建议≥4GB，不超过物理内存50%[^4] ``` - Elasticsearch 分片调优： - 分片大小控制在 20-50GB - 分片数 = 节点数 &times; 1.5（避免过度分片） 2. **负载均衡** - 部署多 Logstash 节点构成消费组，实现： - 水平扩展吞吐量 - 故障转移（参考引用[^4]） 3. **网络与磁盘** - Kafka/Logstash/ES 部署在同机房减少网络延迟 - 使用 SSD 磁盘加速队列持久化（`queue.type: persisted`） --- #### **五、性能验证方法** 1. 监控 Kafka 堆积： ```bash bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group logstash_high_throughput --describe ``` 2. 检查 Logstash 管道延迟： ```ruby # 启用监控API http.host: "0.0.0.0" http.port: 9600 ``` 访问 `http://logstash_ip:9600/_node/stats/pipeline` 查看 `events.duration_in_millis` --- ### 典型优化效果 | 配置项 | 默认值 | 优化后值 | 吞吐提升幅度 | |----------------------|-------------|-------------|-------------| | `pipeline.batch.size` | 125 | 2000 | 3-5倍 | | `consumer_threads` | 1 | 分区数 | 线性增长 | | `flush_size` | 500 | 5000 | 2-3倍 | | Kafka 分区数 | 1 | 16 | 10倍+ | > 注：实际效果取决于硬件资源和数据特征，需逐步测试调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值