一条指令,解决外网无法访问云服务器Kafka容器问题

前言

在上一篇跟着官方文档使用docker,在云服务器上搭建了一个单节点的Kafka集群,在云服务器上连接成功,当我在笔记本上使用Spark尝试连接的时候,无法消费到数据。

从上图可以看出,我在consumer config中明明将bootstrap.servers设置成了弹性公网IP,而且在笔记本上Telnet连接Kafka网络也是通的。

但是当我启动Spark程序之后,程序应该输出从kakfa中消费的数据,但是程序却卡住了。

从日志最后一行可以看到,这里居然连接的是localhost,这肯定是消费不到数据的。但是我明明在程序中使用的是弹性公网IP,怎么到这里就成了localhost了…

问题分析

遇到这种问题,首先排查Kafka服务端的问题,于是我就去容器中查看Kafka的配置,看那个配置选项使用了localhost,然后再进行反推这个问题。

通过docker exec指令进入到kafka容器,然后就开始从各个目录翻找server.properties,在/etc/kafk/docker目录找到了配置文件。

grep localhost一共找到了两个参数,去官网找了一下配置说明,发现第2个配置是导致此问题出现的”元凶“。

advertised.listeners

首先看advertised.listeners选项说明。

然后买一赠一,与listeners一起学习效果更佳。

listenersadvertised.listeners的大概意思就是,listeners是Kafka服务器用于监听客户端连接的地址,包括外部客户端和其他Kafka服务器之间的连接,用于客户端与kafka之间的数据交互的地址。

而advertised.listeners是Kafka向客户端广播的地址。如果Kafka服务器处于内部网络中,而客户端处于外部网络中,则advertised.listeners中的地址需要配置为外部可访问的地址。

这样客户端在连接时,先在zookeeper或者KRaft中查找advertised.listeners广播的地址,然后再去匹配listeners中配置的地址连接Kafka读取数据。

listeners的常见的写法如下:

PLAINTEXT://:9092
PLAINTEXT://0.0.0.0:9092
PLAINTEXT://ip:9092

前两种写法感觉没什么区别,都是监听所有的地址,包括弹性公网IP,第三种写

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值