外部访问K8S集群内部的kafka集群服务

原创

已于 2023-11-10 16:29:45 修改 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kubernetes #kafka #容器

于 2023-11-10 15:43:49 首次发布

本文讲述了如何在Kubernetes中部署Kafka，使用LoadBalancer服务解决集群内外访问问题，包括为每个Pod创建独立服务、设置环境变量以动态配置advertised.listeners以及处理不同Pod的访问地址映射。

不许转载

kafka 部署
把 kafka 部署到 k8s 后，我们肯定是通过 service 从 k8s 外部访问 kafaka。这里的 service 要么是 NodePort，要么是 LoadBalancer 类型。我们使用的方式是 LoadBalancer。
我们先看下面这张图，这是 kafka 在集群中的网络拓扑。当我们通过地址 12.345.67:31090 访问到 kafka 后，kafka 返回的访问地址是类似这样的 endpoint jettopro-kafka.jettopro-poc.svc.cluster.local:9092。这是 k8s 集群内部能访问的 headless service endpoint 地址，从集群外部自然使用这个地址是访问不通的。

所以，我们需要解决两个问题：

kafka 不同的 pod 需要不通的对外能访问的地址
不能使用 kafka 默认的 advertised.listeners

解决方案

问题1，我们为每个 pod 创建类型是 LoadBalancer 的 service 并且监听不同的端口。这样通过 LB IP + port 就能找到特定的 kafka broker。
service 示例如下：

apiVersion: v1
kind: Service
metadata:
  name: kafka-{index}
spec:
  externalTrafficPolicy: Local
  type: LoadBalancer
  selector:
    statefulset.kubernetes.io/pod-name: kafka-{index}
  ports:
  - protocol: TCP
    port: