kafka--centos安装

本文提供了一种简单快捷的方法来安装并启动Kafka集群。包括禁用防火墙、安装JDK、下载及配置Kafka软件包等步骤,并指导如何设置配置文件以启动Zookeeper和Kafka服务,以及创建生产者和消费者的示例。

本文只讲最简单的安装与启动和简单的使用

前期准备:

关闭防火墙

[root@wxl-2 kafka_2.12-2.6.0]# systemctl stop firewalld.service
[root@wxl-2 kafka_2.12-2.6.0]# systemctl disable firewalld.service

安装jdk

yum install java

安装

https://www.apache.org/dyn/closer.cgi?path=/kafka/2.6.0/kafka_2.12-2.6.0.tgz 

下载:wget https://mirror.bit.edu.cn/apache/kafka/2.6.0/kafka_2.12-2.6.0.tgz 
解压到指定目录:tar -zxvf kafka_2.12-2.6.0.tgz  -C /usr/local/

 

配置文件修改

如果只是跑起来  只需要修改跑起来只需要修改/usr/local/kafka_2.12-2.6.0/config/server.properties如下两个地方
listeners=PLAINTEXT://localhost:9092
advertised.listeners=PLAINTEXT://localhost:9092

 

启动

1.启动zookeeper

[root@wxl-2 kafka_2.12-2.6.0]# ./bin/zookeeper-server-start.sh ./config/zookeeper.properties

2.启动kafka

[root@wxl-2 kafka_2.12-2.6.0]# ./bin/kafka-server-start.sh ./config/server.properties

3.启动生产者

[root@wxl-2 kafka_2.12-2.6.0]# ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

4.启动消费者

[root@wxl-2 kafka_2.12-2.6.0]# ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

 

就可以看到在生产者中输入   在消费者窗口就可以看到消息

 

### 创建 Topic 并指定分区和副本 在 Apache Kafka 中,可以通过命令行工具 `kafka-topics.sh` 来创建一个 Topic,并指定其分区(Partition)数量和副本(Replica)因子。以下是一个示例命令: ```bash ./bin/kafka-topics.sh --create --topic test-topic --bootstrap-server 192.168.1.101:9092 --partitions 3 --replication-factor 2 ``` - `--topic test-topic`:定义要创建的 Topic 名称为 `test-topic`。 - `--partitions 3`:设置该 Topic 的分区数为 3。 - `--replication-factor 2`:设置每个分区的副本数为 2。 此命令将创建一个名为 `test-topic` 的 Topic,包含 3 个分区,每个分区有 2 个副本[^5]。 ### 设置消费者组 Kafka 提供了消费者组(Consumer Group)机制,允许多个消费者实例协同工作以消费同一个 Topic 的消息。通过命令行工具 `kafka-console-consumer.sh` 可以启动一个消费者并加入特定的消费者组。以下是相关命令示例: ```bash ./bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.101:9092 --topic test-topic --group my-group ``` - `--group my-group`:指定消费者所属的消费者组名称为 `my-group`。 启动后,该消费者会自动参与到 `my-group` 消费者组中,并开始从 `test-topic` 的各个分区中消费消息[^2]。 ### 发送消息 Kafka 提供了简单的命令行工具 `kafka-console-producer.sh` 来向 Topic 发送消息。以下是一个发送消息的示例命令: ```bash ./bin/kafka-console-producer.sh --broker-list 192.168.1.101:9092 --topic test-topic ``` 执行上述命令后,可以在终端输入任意文本消息,这些消息将会被发送到 `test-topic` 主题中。例如: ``` >Hello World! >This is a test message. ``` 输入的消息会被写入到 `test-topic` 的不同分区中,并且根据配置的副本因子进行复制[^4]。 ### 消费者组与偏移量管理 在 Kafka 中,每个消费者实例都会维护一个偏移量(Offset),用于记录它已经消费到了哪个位置。当消费者实例消费完某个分区中的一条消息后,它就会更新自己的偏移量,以便下次从新的位置开始消费。消费者组通过管理组内所有消费者实例的偏移量,来实现对消息消费的控制和跟踪[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

龙叔运维

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值