Kafka简单安装与测试

最新推荐文章于 2025-05-21 15:24:48 发布

原创最新推荐文章于 2025-05-21 15:24:48 发布 · 838 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#Kafka

大数据同时被 2 个专栏收录

36 篇文章

订阅专栏

MQ消息

6 篇文章

订阅专栏

本文介绍了Kafka的基础概念，包括Broker、Topic、Partition、Producer、Consumer和Consumer Group等。还说明了Kafka版本号的含义，如kafka_2.11 - 0.8.2.2.tgz中2.11是Scala版本，0.8.2.2是Kafka版本。此外，讲述了Kafka的安装方法及启动、创建主题、消息收发等操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Broker
Kafka集群包含一个或多个服务器，这种服务器被称为broker
Topic
每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）
Partition
Partition是物理上的概念，每个Topic包含一个或多个Partition.
Producer
负责发布消息到Kafka broker
Consumer
消息消费者，向Kafka broker读取消息的客户端。
Consumer Group
每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）

安装

kafka官网下载，解压就能用

关于版本号 kafka_2.11-0.8.2.2.tgz

其中2.11是scala版本号 0.8.2.2是kafka版本

启动zookeeper

cd /usr/local/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka server

cd /usr/local/kafka
bin/kafka-server-start.sh config/server.properties

创建主题

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic dblab

生产者发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic dblab

消费者接收消息

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic dblab --from-beginning