Kafka学习笔记-Windows下安装Kafka

Kafka学习笔记

Windows下安装Kafka

Apache Kafka

Kafka 中文文档 - ApacheCN

• 下载Kafka：https://dlcdn.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgz

• 解压：

tar -xzf kafka_2.13-3.6.0.tgz
cd kafka_2.13-3.6.0

• 启动Zookeeper服务

bin\windows\zookeeper-server-start.bat config\zookeeper.properties

• 新建一个窗口启动Kafka服务

bin\windows\kafka-server-start.bat config\server.properties

• 新建一个终端创建一个Topic

bin\windows\kafka-topics.bat --create --topic quickstart-events --bootstrap-server localhost:9092

• 显示新主题的分区计数等细节:

bin\windows\kafka-topics.bat --describe --topic quickstart-events --bootstrap-server localhost:9092

• 将一些事件写入主题（使用Ctrl + C终止输入）

bin\windows\kafka-console-producer.bat --topic quickstart-events --bootstrap-server localhost:9092
This is my first event
This is my second event

• 新建一个终端读取刚刚创建的事件（使用Ctrl + C终止输入）：

bin\windows\kafka-console-consumer.bat --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

• 使用 KAFKA CONNECT 将数据导入/导出为事件流:

• 编辑config\connect-standalone.properties，在最后插入：

plugin.path=libs/connect-file-3.6.0.jar

• 创建一些种子数据进行测试：

echo foo> test.txt
echo bar>> test.txt

• 启动两个以独立模式运行的连接器:

bin\windows\connect-standalone.bat config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

• 检查输出文件的内容来验证数据是否已通过整个pipeline进行交付：

more test.sink.txt

• 运行控制台消费者来查看 主题中的数据:

bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic connect-test --from-beginning

• 连接器一直在处理数据，所以我们可以将数据添加到文件中，并看到它在pipeline 中移动：

echo Another line>> test.txt

• 终止Kafka环境：Ctrl + C