Kafka：基本操作-优快云博客

本文详细介绍Kafka的下载、解压及环境配置，演示如何启动Zookeeper与Kafka服务，创建主题，以及通过producer与consumer进行消息发送与接收的过程。此外，还介绍了如何使用连接器实现文件与Kafka主题的数据同步。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下载kafka_2.11-1.1.0.tgz，tar -zxf解压并进入解压目录，没有配置环境变量。
kafka运行依赖zookeeper，启动zookeeper服务和kafka服务（默认单机模式，由配置文件决定）：

bin/zookeeper-server-start.sh config/zookeeper.properties &
bin/kafka-server-start.sh config/server.properties &

创建一个主题（topic），此主题一个备份，一个分区，主题名为test：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
bin/kafka-topics.sh --list --zookeeper localhost:2181 #列出所有主题
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test #查看主题详情

为主题打开一个producer，输入点信息：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
#This is a message
#This is another message

打开一个consumer，会收到主题下面的信息：

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
#This is a message
#This is another message

使用连接器（connector ）同步文件。 提供三个配置文件作为参数。
首先是Kafka Connect过程的配置，包含常见的配置，例如数据序列化格式。
还有两个连接器（一个从文件读取数据写入kafka主题，一个从kafka主题读取数据写到文件）的配置，包括唯一的连接器名称，要实例化的连接器类以及连接器所需的其他配置：

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

转载于:https://www.cnblogs.com/xuejianbest/p/10285029.html