从Docker到K8s：kafka-docker容器化部署进阶指南

从Docker到K8s：kafka-docker容器化部署进阶指南

【免费下载链接】kafka-docker Dockerfile for Apache Kafka 项目地址: https://gitcode.com/gh_mirrors/ka/kafka-docker

引言

你还在为Kafka集群部署的复杂性而烦恼吗？本文将带你从Docker Compose快速上手，逐步过渡到Kubernetes（K8s）环境，实现高可用、可扩展的Kafka集群部署。读完本文，你将掌握两种主流容器编排平台的部署方法，满足从开发测试到生产环境的不同需求。

Docker Compose快速部署

环境准备

确保已安装docker-compose，具体安装方法可参考Docker Compose官方文档。

配置文件解析

项目提供了多种docker-compose配置文件，适用于不同场景：

• docker-compose.yml：默认配置，包含Zookeeper和Kafka服务
• docker-compose-single-broker.yml：单节点Kafka配置
• docker-compose-swarm.yml：Docker Swarm模式配置

以默认配置为例，关键参数说明：

version: '2'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
    restart: unless-stopped

  kafka:
    build: .
    ports:
      - "9092"
    environment:
      DOCKER_API_VERSION: 1.22
      KAFKA_ADVERTISED_HOST_NAME: 192.168.99.100
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    restart: unless-stopped

启动集群

执行以下命令启动Kafka集群：

docker-compose up -d

如需扩展broker数量：

docker-compose scale kafka=3

向Kubernetes迁移

迁移准备

Kubernetes部署需要将Docker Compose配置转换为K8s资源清单。主要涉及以下资源类型：

• Deployment：用于部署Zookeeper和Kafka服务
• StatefulSet：适合有状态应用，如Kafka broker
• Service：提供稳定的网络访问
• ConfigMap：配置参数管理
• PersistentVolumeClaim：持久化存储

核心配置转换

Zookeeper部署

创建Zookeeper的Deployment和Service：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: zookeeper
spec:
  replicas: 1
  selector:
    matchLabels:
      app: zookeeper
  template:
    metadata:
      labels:
        app: zookeeper
    spec:
      containers:
      - name: zookeeper
        image: wurstmeister/zookeeper
        ports:
        - containerPort: 2181
---
apiVersion: v1
kind: Service
metadata:
  name: zookeeper
spec:
  ports:
  - port: 2181
  selector:
    app: zookeeper

Kafka StatefulSet部署

Kafka broker适合使用StatefulSet部署，确保稳定的网络标识和持久化存储：

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: kafka
spec:
  serviceName: kafka
  replicas: 3
  selector:
    matchLabels:
      app: kafka
  template:
    metadata:
      labels:
        app: kafka
    spec:
      containers:
      - name: kafka
        image: wurstmeister/kafka
        ports:
        - containerPort: 9092
        env:
        - name: KAFKA_ZOOKEEPER_CONNECT
          value: zookeeper:2181
        - name: KAFKA_ADVERTISED_LISTENERS
          value: PLAINTEXT://$(HOSTNAME).kafka:9092
        - name: KAFKA_BROKER_ID
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        volumeMounts:
        - name: kafka-data
          mountPath: /kafka
  volumeClaimTemplates:
  - metadata:
      name: kafka-data
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          storage: 10Gi
---
apiVersion: v1
kind: Service
metadata:
  name: kafka
spec:
  clusterIP: None
  selector:
    app: kafka
  ports:
  - port: 9092

自动创建主题

在K8s环境中，可以通过初始化容器或Job来实现主题自动创建。例如，使用create-topics.sh脚本：

apiVersion: batch/v1
kind: Job
metadata:
  name: create-kafka-topics
spec:
  template:
    spec:
      containers:
      - name: create-topics
        image: wurstmeister/kafka
        command: ["/bin/sh", "-c"]
        args:
        - >
          /opt/kafka/bin/kafka-topics.sh --create --bootstrap-server kafka-0.kafka:9092 --replication-factor 3 --partitions 1 --topic test-topic
      restartPolicy: Never
  backoffLimit: 4

总结与展望

本文介绍了从Docker Compose到Kubernetes的Kafka部署方案。Docker Compose适合快速上手和开发测试，而Kubernetes则提供了更强的扩展性和高可用性，适合生产环境。

后续可以进一步探索：

• 使用Helm Chart简化K8s部署
• 集成Prometheus和Grafana进行监控
• 实现Kafka集群的动态扩缩容

希望本文对你有所帮助，欢迎点赞、收藏、关注，获取更多容器化部署实践指南！

【免费下载链接】kafka-docker Dockerfile for Apache Kafka 项目地址: https://gitcode.com/gh_mirrors/ka/kafka-docker