kafka完全分布式搭建(2.12版)

本文详细介绍Kafka的安装步骤及基本配置方法,并提供创建、查看、删除Topic的操作指南。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、下载解压

  tar -xvf kafka_2.12-1.0.0.tgz

2、进入config目录下,修改server.propeties文件

  broker.id=0 #当前server编号

  port=9092 #使用的端口

  log.dirs=/tmp/kafka-logs-1 #日志存储目录

  zookeeper.connect=localhost:2181

3、启动zookeeper

  zkServer.sh start

4、启动kafka

  bin/kafka-server-start.sh config/server.properties

**************************************************

使用kafka

1)、创建topic:

  bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

2)、查看topic: 

  bin/kafka-topics.sh --list --zookeeper localhost:2181

3)、生产者

  bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

4)、消费者

  bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

5)、删除topic

  ./bin/kafka-topics --delete --zookeeper 【zookeeper server:port】 --topic 【topic name】

  [server.properties需要 设置delete.topic.enable=true]

**************************************************

转载于:https://www.cnblogs.com/runnerjack/p/7846744.html

### Kafka 完全分布式部署的最新本指南 Kafka 是一个高吞吐量的分布式消息系统,广泛用于日志收集、监控数据聚合、流处理等场景。以下是关于 Kafka 最新完全分布式部署的指南: #### 1. 环境准备 确保所有节点(主节点和从节点)已经安装了 Java 环境,并且 JDK 本满足 Kafka 的最低要求。例如,Kafka 3.x 本通常需要 JDK 11 或更高本[^3]。 ```bash java -version ``` 同时,需要在每个节点上安装并配置好 Zookeeper,因为 Kafka 依赖于 Zookeeper 来管理集群元数据[^4]。 #### 2. 下载 Kafka 最新本 访问 Kafka 官方网站下载最新本的 Kafka。假设当前最新本为 3.6.0: ```bash wget https://downloads.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgz tar -xzf kafka_2.13-3.6.0.tgz cd kafka_2.13-3.6.0 ``` #### 3. 配置 Kafka 主节点 编辑 `config/server.properties` 文件,设置以下关键参数: - `broker.id`: 每个 Broker 必须有唯一的 ID。 - `listeners`: 设置监听地址,例如 `PLAINTEXT://:9092`。 - `advertised.listeners`: 如果是跨网络环境,需要指定外部可访问的地址。 - `log.dirs`: 指定 Kafka 日志存储路径。 - `zookeeper.connect`: 指定 Zookeeper 连接地址,例如 `zookeeper1:2181,zookeeper2:2181,zookeeper3:2181`。 ```properties broker.id=1 listeners=PLAINTEXT://:9092 advertised.listeners=PLAINTEXT://192.168.205.154:9092 log.dirs=/tmp/kafka-logs zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181 ``` #### 4. 分发配置到从节点 使用 `scp` 命令将主节点上的 Kafka 配置文件分发到其他节点,并修改每个节点的 `broker.id` 和 `advertised.listeners` 参数以匹配各自的 IP 地址。 ```bash scp -r kafka_2.13-3.6.0/ BlogSlave1:$PWD scp -r kafka_2.13-3.6.0/ BlogSlave2:$PWD ``` #### 5. 启动 Kafka 集群 在每个节点上启动 Kafka Broker: ```bash ./bin/kafka-server-start.sh config/server.properties & ``` #### 6. 创建 Topic 并验证集群状态 创建一个测试 Topic 并验证其是否成功分布到所有节点。 ```bash ./bin/kafka-topics.sh --create --topic test-topic --bootstrap-server 192.168.205.154:9092 --partitions 3 --replication-factor 2 ./bin/kafka-topics.sh --list --bootstrap-server 192.168.205.154:9092 ``` #### 7. 测试生产与消费 启动生产者和消费者以测试消息传递功能。 ```bash # 生产者 ./bin/kafka-console-producer.sh --topic test-topic --bootstrap-server 192.168.205.154:9092 # 消费者 ./bin/kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server 192.168.205.154:9092 ``` #### 注意事项 - 确保所有节点之间的网络连通性良好。 - 配置防火墙规则以允许必要的端口通信(如 90922181)。 - 使用适当的日志清理策略以避免磁盘空间耗尽[^5]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值