前言
在上一篇跟着官方文档使用docker,在云服务器上搭建了一个单节点的Kafka集群,在云服务器上连接成功,当我在笔记本上使用Spark尝试连接的时候,无法消费到数据。
从上图可以看出,我在consumer config中明明将bootstrap.servers设置成了弹性公网IP,而且在笔记本上Telnet连接Kafka网络也是通的。
但是当我启动Spark程序之后,程序应该输出从kakfa中消费的数据,但是程序却卡住了。
从日志最后一行可以看到,这里居然连接的是localhost,这肯定是消费不到数据的。但是我明明在程序中使用的是弹性公网IP,怎么到这里就成了localhost了…
问题分析
遇到这种问题,首先排查Kafka服务端的问题,于是我就去容器中查看Kafka的配置,看那个配置选项使用了localhost,然后再进行反推这个问题。
通过docker exec指令进入到kafka容器,然后就开始从各个目录翻找server.properties,在/etc/kafk/docker目录找到了配置文件。
grep localhost一共找到了两个参数,去官网找了一下配置说明,发现第2个配置是导致此问题出现的”元凶“。
advertised.listeners
首先看advertised.listeners选项说明。
然后买一赠一,与listeners一起学习效果更佳。
listeners和advertised.listeners的大概意思就是,listeners是Kafka服务器用于监听客户端连接的地址,包括外部客户端和其他Kafka服务器之间的连接,用于客户端与kafka之间的数据交互的地址。
而advertised.listeners是Kafka向客户端广播的地址。如果Kafka服务器处于内部网络中,而客户端处于外部网络中,则advertised.listeners中的地址需要配置为外部可访问的地址。
这样客户端在连接时,先在zookeeper或者KRaft中查找advertised.listeners广播的地址,然后再去匹配listeners中配置的地址连接Kafka读取数据。
listeners的常见的写法如下:
PLAINTEXT://:9092
PLAINTEXT://0.0.0.0:9092
PLAINTEXT://ip:9092
前两种写法感觉没什么区别,都是监听所有的地址,包括弹性公网IP,第三种写