基于腾讯云服务器的Docker环境，使用logstash同步的Kafka中数据时报错partitions have leader brokers without a matching listener

关注

原创最新推荐文章于 2026-03-29 02:38:01 发布 1.1w 阅读 AI 写同款· GEO 优化 ›

1 partitions have leader brokers without a matching listener, including [baidd-0] (org.apache.kafka. 一故障描述 9月22日，全国kafka集群中的其中一台kafka因磁盘空间不足宕机后，业务会受到影响，无法生产与消费消息。程序报错： WARN [Consumer clientId=consumer-1, groupId=console-consumer-55928] 1 partitions have leader brokers without a matching listener, including [baidd-0] (org.apache.kafka.clients.NetworkCli 阅读详情

发现是ZK问题，重启ZK后，再同步kafka中数据，logstash日志就正常了。

ZK配置如下：

docker run --name myzk -p 2181:2181 -d jplock/zookeeper

Kafka配置如下:

docker run -d --name mykafka --publish 9092:9092 --link myzk --env KAFKA_ZOOKEEPER_CONNECT=myzk:2181 --env KAFKA_ADVERTISED_HOST_NAME=172.17.0.10 --env \
KAFKA_ADVERTISED_PORT=9092 --env KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://xx.xx.xx.xx:9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest

注意：KAFKA_ADVERTISED_HOST_NAME为云服务器内网IP、KAFKA_ADVERTISED_LISTENERS为外网IP（公网IP）

Logstash的配置如下：


input {
        kafka{
                client_id => 'logstash'
                group_id => 'logstash'
                codec => 'json'
                auto_offset_reset => 'earliest'
                bootstrap_servers => 'xx.xx.xx.xx:9092'
                topics_pattern => 'TopicMessageLog'
                max_partition_fetch_bytes => '5242880'
                metadata_max_age_ms => 1000
        }
}

filter{
        if "_jsonparsefailure" in [tags]{
        drop {}
    }
}

output {
   elasticsearch {
        hosts  => ["http://xx.xx.xx.xx:9201/"]
        index => "xx-msg-%{+YYYY-MM}"
    }
        stdout {
                        codec => rubydebug
        }
}

收录于