filebeat+kafka+logstash+elasticsearch+kibana日志收集

最新推荐文章于 2025-03-18 17:52:29 发布

原创

最新推荐文章于 2025-03-18 17:52:29 发布 · 873 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #docker

该博客介绍了如何利用docker-compose快速搭建一个单机版Kafka测试环境，然后配置filebeat将日志输出到Kafka，接着配置logstash的Kafka输入插件，最后成功部署filebeat、Kafka和ELK（Elasticsearch、Logstash、Kibana）栈，确保日志收集和消费的正常进行。

搭建Kafka

使用docker-compose快速搭建一个单机版kafka测试环境：

version: '2'
services:
  zookeeper:
    image: zookeeper   ## 镜像
    container_name: zookeeper
    ports:
      - "2181:2181"                 ## 对外暴露的端口号
  kafka:
    image: wurstmeister/kafka       ## 镜像
    container_name: kafka-server
    volumes:
        - /etc/localtime:/etc/localtime ## 挂载位置（kafka镜像和宿主机器之间时间保持一直）
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 10.190.49.3   ## 修改:宿主机IP
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181       ## 卡夫卡运行是基于zookeeper的
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_LOG_RETENTION_HOURS: 120
      KAFKA_MESSAGE_MAX_BYTES: 10000000
      KAFKA_REPLICA_FETCH_MAX_BYTES: 10000000
      KAFKA_GROUP_MAX_SESSION_TIMEOUT_MS: 60000
      KAFKA_NUM_PARTITIONS: 3
      KAFKA_DELETE_RETENTION_MS: 1000
  kafka-manager:
    image: sheepkiller/kafka-manager                ## 镜像：开源的web管理kafka集群的界面
    container_name: kafka-manager