基于ZooKeeper的Kafka分布式集群搭建与集群启动停止Shell脚本

原创 已于 2024-04-04 14:51:16 修改 · 1.1k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分布式 #kafka

于 2024-04-03 17:33:16 首次发布

下载Kafka压缩包

下方是Kafka官网下载地址，本文使用Kafka 3.0.0在虚拟机环境中搭建分布式集群。
Apache Kafka Downloads link
虽然在Kafka 2.8.0之后可以使用KRaft模式搭建高可用的集群以提高数据处理效率，但是目前还有许多企业依然使用ZooKeeper搭建Kafka集群，所以本文也采用ZooKeeper组件来搭建Kafka分布式集群。
Kafka-3.0.0

基于ZooKeeper的Kafka高可用集群

本文使用三台CentOS7虚拟机分别搭建三个broker节点的Kafka集群。以broker ID为0的节点为例，下方是该节点配置Kafka的具体步骤，另外两个broker节点的配置步骤与其一致。

  1. 解压kafka_2.12-3.0.0.tgz压缩包
tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/
  1. 重命名文件夹名称（可选），注意后面的配置文件也需要根据该名称进行修改。
cd /opt/module
mv kafka_2.12-3.0.0 kafka
  1. 修改/opt/module/kafka/config/server.properties配置文件中最基础的参数配置：第一个是broker节点ID，第二个是topic数据存储路径。
vim server.properties

broker.id=0
log.dirs=/opt/module/kafka/datas
<
最低0.47元/天 解锁文章
kafka启动停止脚本
独立开发，substack顶级编辑
08-12 1622
kafka启动停止脚本
kafka 启停脚本
weixin_45417821的博客
09-29 414
新建kf.sh 文件 #!/bin/bash case $1 in "start"){ for i in Bigdata04 Bigdata05 Bigdata06 do echo ---------- kafka $i 启动 ------------ ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/co.
在虚拟机单机环境搭建Kafka集群
优秀的程序员不应该是CRUD
10-13 660
zookeeper需要java运行环境。
kafka集群启停脚本
storm_fury
09-29 2587
注意： 需先在/etc/hosts 文件中配置 IP 映射。 启动kafka集群前，要先启动zoopkeeper集群。 一、kafka集群停止脚本 #!/bin/bash BROKERS=&quot;hadoop01 hadoop02 hadoop03&quot; KAFKA_HOME=&quot;/usr/local/kafka&quot; KAFKA_NAME=kafka_2.11-2.0.0 for i in ${B...
zookeeper集群shell脚本全启动
疯狂的1024
07-14 6944
我们的zookeeper要全部都启动，我们不可能一次启动一个bin/zkServer.sh start。因为如果我们如果有100台集群的zookeeper，这个时候每一台都单独启动很麻烦，这个时候我们就使用shell脚本进行。这样我们只需要在集群的一个zookeeper上面运行一个shell脚本，这个就能将其他的zookeeper都启动。首先这个shell脚本代码：#!/bin/sh echo "...
kafka+zookeeper高可用集群搭建shell使用脚本
02-22
【标题】"kafka+zookeeper高可用集群搭建shell使用脚本"所涉及的知识点主要集中在构建高可用的Kafka和Zookeeper集群上，以及如何利用Shell脚本来自动化这个过程。Kafka是一个分布式流处理平台，而Zookeeper是Apache...
Linux下Kafka与Zookeeper高可用集群的Shell脚本搭建
从文件描述来看，“kafka+zookeeper高可用集群搭建shell使用脚本”提供了一种通过Shell脚本自动化搭建Kafka和Zookeeper高可用集群的方法。这种方法可以大大简化集群的搭建过程，减少人工配置出错的可能性，并且能够...
Kafka集群部署-三节点自动化安装Shell脚本解析及应用
最新发布
02-20
内容概要：本文提供了一个用于在三个节点上自动安装并配置Kafka及其依赖组件（如Java、ZooKeeper）的Shell脚本详细步骤说明。首先检查是否输入了正确的IP地址数量（需要3个），然后依次执行四个主要任务：安装必要的...
Kafka 分布式消息系统详细介绍
slb190623的博客
09-07 1911
Kafka 分布式消息系统详细介绍
Kafka集群启动停止脚本
qq_43232869的博客
08-02 412
1）在/root/bin目录下创建脚本kf.sh [root@hadoop101 bin]$ vim kf.sh #! /bin/bash case $1 in "start"){ for i in hadoop101 hadoop102 hadoop103 do echo " --------启动 $i Kafka-------" # 用于KafkaManager监控
Kafka3.0.0版本——集群启动停止脚本
小志的博客
03-27 746
Kafka3.0.0版本————集群启动停止脚本
kafka集群启动脚本
m0_48830183的博客
03-06 335
1: 在 /usr/local/bin 目录下touch xkafka.sh 2：脚本编写 #!/bin/bash #判断用户是否传参 if [ $# -ne 1 ];then echo "无效参数，用法为: $0 {start|stop}" exit fi #获取用户输入的命令 cmd=$1 for (( i=101 ; i<=103 ; i++ )) ;do tput setaf 2 echo ========== hadoop${i} $cmd ==...
kafka启停脚本
cts618
08-15 588
kafka启停脚本
Kafka集群的搭建与批量启停
学而时习之，不亦说乎？温故而知新，可以为师矣！
03-29 3292
什么是Kafka？ Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。最新官方给Kafka的定义是一个开源的分布式事件流平台（Event Streaming Platform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。 Kafka集群的搭建 部署服务器发行版本为CentOS7 ✖️ 三台（已安装好Java环境），三台服务器的IP为： 192.168.182.4 192.168.182.5 192.168.182.6 部
Kafka集群群起、群停脚本
liuwei0376的专栏
05-02 886
kafka-mgr.sh 脚本清单： #!/bin/bash if [ $# -lt 1 ] then echo "Please type parameter like <start> or <stop>" exit ; fi case $1 in "start"){ echo " ================= 启动 Kafka集群 =================" for host in hadoop
ZK 集群启动停止脚本
Hello World
10-23 1391
ZK 集群启动停止脚本编写 之所以想写一个启动脚本，是因为假如我们集群中有一百台zk，那么每次停止都要跑到每台zk的bin目录下执行stop命令，很是麻烦。 编写 1.在某台安装了zk的服务器的某个目录下创建一个zk.sh执行脚本 2. 执行vim zk.sh #!/bin/bash case $1 in "start"){ for i in 192.168.80.18 192.168.80.19 192.168.80.20 do echo ---------- zookeeper $i 启动 -----
ZK集群启动停止脚本
子清的博客
02-04 399
1）在hadoop102的/root/bin目录下创建脚本 vim zk.sh 在脚本中编写如下内容 #!/bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do echo ---------- zookeeper $i 启动 ------------ ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start" done };; "s
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值