Kubernetes HPA：基于 kafka_consumergroup_lag 指标实现 Consumer Pod 水平弹性伸缩

背景介绍

在实际生产环境中，当请求激增时，kafka 生产者发送的消息数量会远远大于 kafka 消费者的消费能力，从而导致消息堆积和处理延迟。为了避免此种情况，就要求消费者能够感知到 kafka 消息堆积，并通过动态增加或减少自身的副本数，实现动态自适应消费，这就是本文即将介绍的内容，即基于 kafka_consumergroup_lag 指标实现 Consumer Pod 水平弹性伸缩。

Kubernetes 通过 HPA 实现 Pod 的水平弹性伸缩，默认支持多种类型，包括 Resource、Pods、Object、External、ContainerResource。有关 HPA 的更多官方介绍请参考官方文档：https://kubernetes.io/docs/tasks/run-application/horizontal-pod-autoscale/，本文不作冗余说明。

由于 kafka_consumergroup_lag 指标不是从待扩缩容的消费者 Pod 上采集上来的，没有与 K8s 资源对象建立关联关系，因此这里需要使用 External 类型的 HPA。

整体架构图如下：

实验步骤

1. 准备 Kubernetes 集群

如果已经有 Kubernetes 集群了，可以跳过该步骤

本文使用 Kind 创建一个测试集群, 准备如下配置文件，命名为 kind-cluster.yaml：

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
  image: kindest/node:v1.28.0@sha256:b7a4cad12c197af3ba43202d3efe03246b3f0793f162afb40a33c923952d5b31
- role: worker
  image: kindest/node:v1.28.0@sha256:b7a4cad12c197af3ba43202d3efe03246b3f0793f162afb40a33c923952d5b31
- role: worker
  image: kindest/node:v1.28.0@sha256:b7a4cad12c197af3ba43202d3efe03246b3f0793f162afb40a33c923952d5b31

执行如下命令，创建 Kind 集群：

kind create cluster --config kind-cluster.yaml

2. 安装部署 Kafka 组件

这里使用 Helm 一键安装：

helm repo add kafka-repo https://helm-charts.itboon.top/kafka
helm repo update kafka-repo
helm upgrade --install kafka \
  --namespace kafka \
  --create-namespace \
  --set broker.combinedMode.enabled="true" \
  --set broker.persistence.enabled="false" \
  kafka-repo/kafka

注意，此种安装关闭了持久化存储，单实例最小化运行，仅用于测试环境。

3. 部署 Prometheus 监控组件

git clone https://github.com/prometheus-operator/kube-prometheus.git
cd kube-prometheus
kubectl create -f manifests/setup
kubectl create -f manifests/

通过端口转发，访问 Prometheus 看板：

kubectl port-forward service/prometheus-k8s 9090:9090 -n monitoring

执行上述端口转发命令后，浏览器访问 http://localhost:9090

4. 部署 Kafka Exporter 指标采集器

准备如下 kafka-exporter.yaml 文件：

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: kafka-exporter
  namespace: monitoring
  labels:
    app: kafka-exporter
spec:
  replicas: 1
  selector:
    matchLabels:
      app