elk+kafka中间件

最新推荐文章于 2024-11-30 21:44:08 发布

Full Stack Developer

最新推荐文章于 2024-11-30 21:44:08 发布

阅读量377

点赞数

本文链接：https://blog.youkuaiyun.com/cron_zzx/article/details/103468555

版权

本文介绍了如何配置Filebeat来收集指定路径的日志，并通过Kafka作为中间件传输到Logstash，Logstash进一步将日志处理后输出到Elasticsearch。配置包括Filebeat的Prospectors设置、Kafka输出模块，以及Logstash的Kafka输入和Elasticsearch输出插件。整个流程旨在实现高效、可靠的日志管理和分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

filebeat核心配置

filebeat.prospectors:
- type: log
enabled: true
paths:
- /usr/local/tomcat/logs/system/*.log
fields:
#host: 172.10.4.15
log_topics: zzx-api
multiline.pattern: '^\['
multiline.negate: true
multiline.match: after
# multiline.pattern: '(WARN|DEBUG|ERROR|INFO) \d{4}/\d{2}/\d{2}'
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 3
setup.kibana:

output.kafka:
enabled: true
hosts: ["172.10.10.64:7092","172.10.10.64:8092","172.10.10.64:9092"]
topic: '%{[fields.log_topics]}'

logstash消费kafka的日志并输出到es的核心配置：

input {

kafka {
bootstrap_servers => "172.10.10.64:9092,172.10.10.64:8092,172.10.10.64:7092"
#topics_pattern => "zzx-api"
topics_pattern => ".*" # .*可以配置所有topic
consumer_threads => 5
auto_offset_reset => "latest"
group_id => "logstash_chigua"
codec => "json"
}

}

output {
elasticsearch {
hosts => ["172.10.10.86:9200","172.10.10.87:9200","172.10.10.88:9200"]
#index => "%{[fields.log_topics]}-%{+YYYY.MM.dd}"
index => "%{[@metadata][topic]}-%{+YYYY-MM-dd}"
}
stdout {
codec => rubydebug
}
}