k8s部署elk+filebeat+logstash+kafka集群（三）logstash部署

原创

已于 2022-10-13 16:01:17 修改 · 2.2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#kubernetes #elk #kafka

于 2022-09-30 16:12:33 首次发布

该博客介绍了如何在Kubernetes环境中使用Logstash进行日志收集。通过创建ConfigMap和Deployment配置，Logstash从Kafka和Beats输入源接收日志，使用过滤器处理并输出到Elasticsearch。配置包括Kafka消费者设置、日志格式解析、Elasticsearch索引映射等，确保日志有效管理和分析。

logstash采用statefulset或者deployment部署均可，本文采用deployment
过滤条件根据实际环境的日志结构自行配置
configmap配置文件

# cat logstash-cm.yaml

apiVersion: v1
kind: ConfigMap
metadata:
  name: logstash-configmap
  namespace: elk
  labels:
    app: logstash-cm
data:
  logstash.conf: |-
        input {
   
   
                kafka {
   
   
                        bootstrap_servers => ["kafka-kraft-statefulset-0.kafka-kraft-svc:9091,kafka-kraft-statefulset-1.kafka-kraft-svc:9091,kafka-kraft-statefulset-2.kafka-kraft-svc:9091"]
                        client_id => "k8s_logstash"
                        group_id => "k8s"
                        auto_offset_reset => "latest"
                        consumer_threads => 3
                        decorate_events => false
                        topics => ["k8s","nginx-access-log","nginx-error-log"]
                        codec => "json"
                }
        }
        input {
   
   
                beats {
   
   
                        host => "0.0.0.0"
                        port => 5044
                        codec =<