kafka笔记1

最新推荐文章于 2022-06-02 06:32:58 发布

原创最新推荐文章于 2022-06-02 06:32:58 发布 · 558 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#kafka

Web 同时被 2 个专栏收录

7 篇文章

订阅专栏

分布式

3 篇文章

订阅专栏

本文详细介绍如何安装及运行Zookeeper与Kafka，并通过具体步骤演示如何创建主题、生产和消费消息。此外，还提供了一个使用Golang实现的简单示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、zookeeper默认端口：2181

2、kafka默认端口：9092

3、运行Zookeeper

进入zookeeper-3.4.9\bin目录，双击zkServer.cmd如果打印以下信息则表示zookeeper已经安装成功并运行在2181端口

4、运行kafka:

.\bin\windows\kafka-server-start.bat .\config\server.properties

5、创建主题：

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic01

6、查看主题：

.\bin\windows\kafka-topics.bat -zookeeper localhost:2181 --list

7、创建生产者，进行cmd命令窗口，创建成功后不要关闭窗口

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic topic01

8、创建消费者，进行cmd命令窗口，创建成功后不要关闭窗口

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic01

9、效果

生产者：

消费者：

10、golang代码实现：

package main

import (
	"fmt"
	"time"
	"github.com/Shopify/sarama"
)

func main() {

	config := sarama.NewConfig()                   //实例化配置
	/*发一个消息给kafka,kafka把它保存到日志文件里面，返回一个ACK。等待ACK，确定数据放盘。
	看数据是否重要。*/
	config.Producer.RequiredAcks = sarama.WaitForAll
	//分区，topic，把topic分区，分成不同的队列，可以并发
	//这里使用随机分区，随机的分到8台机器上去
	config.Producer.Partitioner = sarama.NewRandomPartitioner
	config.Producer.Return.Successes = true

	//生产者实例，SyncProducer，这里是异步的，会先发到channel里面
	client, err := sarama.NewSyncProducer([]string{"localhost:9092"}, config)
	if err != nil {
		fmt.Println("producer close, err:", err)
		return
	}

	defer client.Close()
	for {
		//msg：要写入kafka中的数据，msg.Topic：指定kafka中的topic
		msg := &sarama.ProducerMessage{}
		msg.Topic = "topic01"
		msg.Value = sarama.StringEncoder("this is a good test, my message is good")

		//消息发出去后，返回一个分区的pid,以及在该分区中的偏移量。
		pid, offset, err := client.SendMessage(msg)
		if err != nil {
			fmt.Println("send message failed,", err)
			return
		}

		fmt.Printf("pid:%v offset:%v\n", pid, offset)
		time.Sleep(10 * time.Millisecond)
	}
}

效果：