Docker的Kafka外网访问

本文介绍了在使用Kafka集群时遇到的访问问题及解决方案。通过调整advertised.host.name、advertised.listeners等配置,并正确设置docker内外的hosts文件,解决了客户端访问时出现的TimeoutException等问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

kafka镜像使用wurstmeister/kafka:2.11-0.11.0.2

启动镜像,创建topic、消费者、生产者一切顺利。

使用java客户端访问时,不断的报

TimeoutException java.io.EOFException: null

update metadata timeout之类的错误。

debug后发现,这个问题和之前redis集群的问题类似(可以参见我之前的另一篇redis的文章),

程序获得了cluster集群的信息,包括节点和分区等metadata,但是返回给信息是kafka01(如果使用的是IP,那就更不好解决了),外部机器拿到这个hostname是无法访问docker内的机器的。

因为第一次用kafka,看了看官网的server.properties参数的介绍,尝试把以下几个参数统一设置为hostname而不是用IP(没有逐一验证DEPRECATED的参数是否需要配置,为了测试就都配上了)。

advertised.host.name = kafka01 (DEPRECATED)

advertised.listeners = PLAINTEXT://kafka01:9092(如果未设置listeners则该参数生效)

advertised.port = 9092 (DEPRECATED)

listeners=PLAINTEXT://kafka01:9092

关键的配置:

docker内的hosts使用条目:192.168.0.33    kafka01

docker外的宿主机hosts使用条目,不要使用127.0.0.1这个地址:

######### ip for docker beginr############

192.168.3.25 zk01

192.168.3.25 kafka01

即内外网均使用hostname,但各自的ip配置不同。

之前redis尝试过这个方式,但是生成的nodes.conf似乎不能识别hostname只能用ip,可能因为外网的hosts配置的ip使用的是127.0.0.1 localhost这个配置导致错误。以后试试使用hostname+实际的ip看看能不能解决jediscluster客户端无法访问docker中redis集群的问题。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值