Kafka Go 示例项目教程

Kafka Go 示例项目教程

kafka-go-example 项目地址: https://gitcode.com/gh_mirrors/ka/kafka-go-example

1. 项目目录结构及介绍

kafka-go-example/
├── compression/
├── conf/
├── consumer/
├── exactlyonce/
├── helloworld/
├── offsetmanager/
├── partition/
├── producer/
├── .editorconfig
├── .gitattributes
├── .gitignore
├── .golangci.yaml
├── LICENSE
├── README.md
├── go.mod
├── go.sum
└── kafka.yaml

目录结构介绍

• compression/: 包含与消息压缩相关的示例代码。
• conf/: 包含项目的配置文件。
• consumer/: 包含消费者相关的示例代码。
• exactlyonce/: 包含实现精确一次（exactly once）语义的示例代码。
• helloworld/: 包含最简单的 Kafka 示例代码，通常用于入门。
• offsetmanager/: 包含偏移量管理相关的示例代码。
• partition/: 包含分区相关的示例代码。
• producer/: 包含生产者相关的示例代码。
• .editorconfig: 编辑器配置文件，用于统一代码风格。
• .gitattributes: Git 属性配置文件。
• .gitignore: Git 忽略文件配置。
• .golangci.yaml: Go 代码质量检查配置文件。
• LICENSE: 项目许可证文件。
• README.md: 项目说明文件。
• go.mod: Go 模块依赖管理文件。
• go.sum: Go 模块依赖校验文件。
• kafka.yaml: Kafka 配置文件。

2. 项目启动文件介绍

项目的启动文件通常位于 helloworld/ 目录下，因为这是最简单的入门示例。以下是 helloworld/main.go 文件的简要介绍：

package main

import (
    "fmt"
    "log"
    "github.com/Shopify/sarama"
)

func main() {
    config := sarama.NewConfig()
    config.Producer.Return.Successes = true

    producer, err := sarama.NewSyncProducer([]string{"localhost:9092"}, config)
    if err != nil {
        log.Fatalf("Failed to start Sarama producer: %v", err)
    }
    defer producer.Close()

    msg := &sarama.ProducerMessage{
        Topic: "test_topic",
        Value: sarama.StringEncoder("Hello, Kafka!"),
    }

    partition, offset, err := producer.SendMessage(msg)
    if err != nil {
        log.Fatalf("Failed to send message: %v", err)
    }

    fmt.Printf("Message is stored in topic(%s)/partition(%d)/offset(%d)\n", "test_topic", partition, offset)
}

启动文件介绍

• main.go: 这是项目的启动文件，包含了最简单的 Kafka 生产者示例。它使用 sarama 库连接到 Kafka 集群，并发送一条消息到指定的主题。

3. 项目的配置文件介绍

项目的配置文件主要位于 conf/ 目录下，以下是 kafka.yaml 文件的简要介绍：

kafka:
  brokers:
    - "localhost:9092"
  topic: "test_topic"
  group: "test_group"
  version: "2.8.0"
  producer:
    retries: 3
    retry.backoff.ms: 100
  consumer:
    offset: "latest"

配置文件介绍

• brokers: Kafka 集群的 Broker 地址列表。
• topic: 默认的消息主题。
• group: 默认的消费者组。
• version: Kafka 版本。
• producer: 生产者配置，包括重试次数和重试间隔。
• consumer: 消费者配置，包括偏移量策略。

通过以上配置文件，可以灵活地调整 Kafka 的连接参数和行为。

kafka-go-example 项目地址: https://gitcode.com/gh_mirrors/ka/kafka-go-example