Fluent Bit + Kafka + ELK日志采集实现详解

以下是 Fluent Bit + Kafka + ELK 日志采集系统的详细实现方案。

配置实例

fluent-bit.conf

[SERVICE]
    Flush         1
    Log_Level     info
    Daemon        off
    Parsers_File  parsers.conf
    HTTP_Server   On
    HTTP_Listen   0.0.0.0
    HTTP_Port     2020

[INPUT]
    Name              tail
    Tag               app.*
    Path              /var/log/application/*.log
    Parser            json
    DB                /var/log/flb_app.db
    Mem_Buf_Limit     5MB
    Skip_Long_Lines   On
    Refresh_Interval  10

[INPUT]
    Name              systemd
    Tag               host.*
    Systemd_Filter    _SYSTEMD_UNIT=docker.service
    Read_From_Tail    On

[FILTER]
    Name            kubernetes
    Match           kube.*
    Merge_Log       On
    Keep_Log        Off
    K8S-Logging.Parser  On
    K8S-Logging.Exclude On

[FILTER]
    Name    modify
    Match   *
    Add     environment production
    Add     source fluentbit
    Rename  log message

[OUTPUT]
    Name           kafka
    Match          *
    Brokers        kafka-broker1:9092,kafka-broker2:9092,kafka-broker3:9092
    Topics         log-topic
    Timestamp_Key  @timestamp
    Retry_Limit    false
    rdkafka.log.connection.close false
    rdkafka.queue.buffering.max.kbytes 10240
    rdkafka.request.required.acks   1

parsers.conf

[PARSER]
    Name   json
    Format json
    Time_Key time
    Time_Format %d/%b/%Y:%H:%M:%S %z

[PARSER]
    Name        docker
    Format      json
    Time_Key    time
    Time_Format %Y-%m-%dT%H:%M:%S.%L
    Time_Keep   On

[PARSER]
    Name        syslog
    Format      regex
    Regex       ^\<(?<pri>[0-9]+)\>(?<time>[^ ]* {1,2}[^ ]* [^ ]*) (?<host>[^ ]+) (?<ident>[a-zA-Z0-9_\/\.\-]*)(?:\[(?<pid>[0-9]+)\])?(?:[^\:]*\:)? *(?<message>.*)$
    Time_Key    time
    Time_Format %b %d %H:%M:%S

logstash.conf

input {
  kafka {
    bootstrap_servers => "kafka-broker1:9092,kafka-broker2:9092,kafka-broker3:9092"
    topics => ["log-topic"]
    group_id => "logstash-consumer-group"
    consumer_threads => 3
    decorate_events => true
    codec => "json"
  }
}

filter {
  if [source] == "fluentbit" {
    # 处理时间戳
    date {
      match => [ "@timestamp", "ISO8601" ]
      target => "@timestamp"
    }
    
    # 解析用户代理
    useragent {
      source => "user_agent"
      target => "user_agent_parsed"
      prefix => "ua_"
    }
    
    # 地理位置解析
    geoip {
      source => "client_ip"
      target => "geoip"
    }
    
    # 数据清洗
    mutate {
      remove_field => [ "message", "@version" ]
    }
  }
  
  # 异常检测过滤器
  if [level] == "ERROR" or [level] == "FATAL" {
    mutate {
      add_tag => [ "error_alert" ]
    }
  }
}

output {
  elasticsearch {
    hosts => ["http://elasticsearch-node1:9200", "http://elasticsearch-node2:9200", "http://elasticsearch-node3:9200"]
    index => "application-logs-%{+YYYY.MM.dd}"
    template_name => "log-template"
    template => "/etc/logstash/templates/logs_template.json"
    template_overwrite => true
  }
  
  # 备份到文件系统
  file {
    path => "/var/log/archived_logs/%{+YYYY-MM-dd}/logs.txt"
    codec => line { format => "%{message}"}
  }
}

kibana_dashboard.json

{
  "dashboard": {
    "title": "应用程序日志监控",
    "description": "基于FluentBit-Kafka-ELK的日志分析仪表板",
    "panelsJSON": "[{\"id\":\"log-level-distribution\",\"type\":\"visualization\",\"panelIndex\":1,\"size_x\":6,\"size_y\":4,\"col\":1,\"row\":1},{\"id\":\"top-error-sources\",\"type\":\"visualization\",\"panelIndex\":2,\"size_x\":6,\"size_y\":4,\"col\":7,\"row\":1},{\"id\":\"log-volume-trend\",\"type\":\"visualization\",\"panelIndex\":3,\"size_x\":12,\"size_y\":5,\"col\":1,\"row\":5}]",
    "optionsJSON": "{\"darkTheme\":true}",
    "uiStateJSON": "{}",
    "version": 1,
    "timeRestore": true,
    "timeTo": "now",
    "timeFrom": "now-24h",
    "refreshInterval": {
      "display": "5秒",
      "pause": false,
      "value": 5000
    },
    "kibanaSavedObjectMeta": {
      "searchSourceJSON": "{\"filter\":[],\"highlightAll\":true,\"version\":true}"
    }
  }
}

docker-compose.yml

version: '3.8'

services:
  fluent-bit:
    image: fluent/fluent-bit:latest
    container_name: fluent-bit-agent
    volumes:
      - ./fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf
      - ./parsers.conf:/fluent-bit/etc/parsers.conf
      - /var/log:/var/log
      - /var/lib/docker/containers:/var/lib/docker/containers
    ports:
      - "2020:2020"
    networks:
      - logging-network
      
  zookeeper:
    image: confluentinc/cp-zookeeper:latest
    container_name: zookeeper
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    networks:
      - logging-network

  kafka:
    image: confluentinc/cp-kafka:latest
    container_name: kafka-broker
    depends_on:
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka-broker:9092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
    networks:
      - logging-network

  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.11.0
    container_name: elasticsearch
    environment:
      - discovery.type=single-node
      - xpack.security.enabled=false
      - ES_JAVA_OPTS=-Xms1g -Xmx1g
    ports:
      - "9200:9200"
      - "9300:9300"
    volumes:
      - esdata:/usr/share/elasticsearch/data
    networks:
      - logging-network

  logstash:
    image: docker.elastic.co/logstash/logstash:8.11.0
    container_name: logstash
    volumes:
      - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf
      - ./templates:/etc/logstash/templates
    ports:
      - "5044:5044"
      - "9600:9600"
    depends_on:
      - elasticsearch
      - kafka
    networks:
      - logging-network

  kibana:
    image: docker.elastic.co/kibana/kibana:8.11.0
    container_name: kibana
    ports:
      - "5601:5601"
    environment:
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200
    depends_on:
      - elasticsearch
    networks:
      - logging-network

volumes:
  esdata:

networks:
  logging-network:
    driver: bridge

README.md

# Fluent Bit + Kafka + ELK 日志采集系统

## 架构概述
本系统采用现代化的日志采集架构，由四个核心组件构成：
1. **Fluent Bit**: 轻量级日志收集器，负责从源头采集日志
2. **Apache Kafka**: 分布式消息队列，提供日志缓冲和解耦
3. **Logstash**: 日志处理管道，执行数据转换和 enrichment
4. **Elasticsearch + Kibana**: 存储检索和可视化展示

## 部署步骤

### 1. 环境准备
确保安装 Docker 和 Docker Compose

### 2. 启动服务
```bash
docker-compose up -d
```

### 3. 验证组件状态
- Fluent Bit: http://localhost:2020
- Elasticsearch: http://localhost:9200
- Kibana: http://localhost:5601

## 配置要点说明

### Fluent Bit 配置
- 使用 tail input 插件监控日志文件
- 支持 JSON、Syslog 等多种日志格式解析
- 通过 Kafka output 插件发送至消息队列

### Kafka 配置
- 单节点测试环境配置
- topic 名称: log-topic
- 默认分区数: 3

### Logstash 配置
- Kafka 输入插件消费日志数据
- 内置 GeoIP、UserAgent 解析功能
- Elasticsearch 输出并备份到文件系统

## 性能优化建议
1. 根据日志量调整 Kafka 分区数
2. 配置适当的 JVM 堆内存大小
3. 启用 Elasticsearch 索引生命周期管理
4. 使用 SSD 存储提升 I/O 性能

特点

该实现方案提供了完整的 Fluent Bit + Kafka + ELK 日志采集解决方案，具备以下特点：

1. 多层次架构设计，各组件职责分离
2. 支持容器化部署，便于运维管理
3. 具备日志解析、 enrichement 和可视化能力
4. 集成了异常检测和告警机制
5. 提供详细的性能监控和调试接口

附件一：Fluent Bit + Kafka + ELK 日志采集常见问题

Fluent Bit + Kafka + ELK 日志采集常见问题

在使用 Fluent Bit + Kafka + ELK 构建日志采集系统时，可能会遇到多种常见问题。以下是基于实际部署经验整理的典型问题及解决方案：

一、日志时间乱序问题

‌问题描述：‌ 在 Kafka 接收 Fluent Bit 采集的日志时，发现日志时间戳出现乱序现象。

‌根本原因：‌ Kafka 只保证单分区内消息有序，不同分区之间无法保证全局有序。

‌解决方案：‌

• 为 Kafka Topic 设置分区键（Partition Key），确保同一来源的日志进入同一分区
• 在 Fluent Bit 配置中指定分区键字段：

  [OUTPUT]
  Name kafka
  Match *
  Brokers kafka1:9092,kafka2:9092
  Topics log-topic
  Key %{[host.name]}-%{[container.id]}
  Partition.Hash false
  

二、日志重复采集

‌问题描述：‌ Fluent Bit 重启后重复采集相同日志内容。

‌根本原因：‌ 未配置持久化数据库文件，导致重启后无法记住日志读取位置。

‌解决方案：‌

• 在输入插件中配置数据库文件：

  [INPUT]
  Name tail
  Path /var/log/*.log
  DB /var/lib/fluent-bit/state.db
  

三、配置文件语法错误

‌问题描述：‌ Fluent Bit 启动失败或无法正常处理日志，提示配置错误。

‌解决方案：‌

• 使用配置验证工具检查语法：

  fluent-bit -c fluent-bit.conf --dry-run
  

• 确保配置文件缩进为四个空格，参数拼写正确。

四、日志解析失败

‌问题描述：‌ 日志格式不匹配导致解析失败。

‌解决方案：‌

• 检查解析器配置是否正确：

  [PARSER]
  Name json
  Format json
  Time_Key time
  Time_Format %Y-%m-%dT%H:%M:%S.%L
  

五、网络连接问题

‌问题描述：‌ Fluent Bit 无法连接到 Kafka 或 ELK 集群。

‌解决方案：‌

• 检查网络连通性：

  telnet kafka-host 9092
  telnet elasticsearch-host 9200
  

• 验证防火墙设置和 SSL 配置。

六、性能瓶颈

‌问题描述：‌ Fluent Bit 在高吞吐量场景下出现性能问题。

‌解决方案：‌

• 调整缓冲区大小和刷新间隔
• 优化 Kafka 输出配置：

  [OUTPUT]
  Name kafka
  Match *
  Brokers kafka1:9092
  Topics log-topic
  Rdkafka.Queue.Buffering.Max.Kbytes 10240
  Rdkafka.Request.Required.Acks 1

七、Kafka 磁盘故障

‌问题描述：‌ Kafka 磁盘读写异常导致日志写入失败。

‌解决方案：‌

• 监控 Kafka Broker 磁盘状态
• 配置多磁盘挂载方案
• 确保 Kafka 配置了适当的副本策略

八、容器化部署问题

‌问题描述：‌ 在 Kubernetes 环境中 Fluent Bit 无法正确采集容器日志。

‌解决方案：‌

• 使用 DaemonSet 部署 Fluent Bit
• 正确挂载容器日志目录：

  volumes:
    - name: varlog
      hostPath:
        path: /var/log
    - name: varlibdockercontainers
      hostPath:
        path: /var/lib/docker/containers

九、资源限制问题

‌问题描述：‌ Fluent Bit 占用 CPU 或内存过高。

‌解决方案：‌

• 限制资源使用：

  resources:
    limits:
      cpu: "1"
      memory: 512Mi
  

• 优化输入、过滤和输出插件配置。

十、监控与调试困难

‌问题描述：‌ 缺乏有效的监控手段，难以快速定位问题。

‌解决方案：‌

• 启用 HTTP 服务器获取监控指标：

  [SERVICE]
  HTTP_Server On
  HTTP_Listen 0.0.0.0
  HTTP_Port 2020
  

• 访问 http://localhost:2020/api/v1/metrics 查看性能数据。