【Kafka】集群群起、停止脚本

前提:已配置好SSH服务器免密登录

1.群起脚本:

#Kafka群起脚本

#!/bin/bash
#定义linux集群
brokers="hadoop102 hadoop103 hadoop104"
#定义kafka目录
KAFKA_HOME="/opt/module/kafka"

KAFKA_NAME="Kafka"

echo "==============    开始启动Kafka集群    ==============="

for broker in $brokers
do
  ssh ${broker} -C "source /etc/profile; sh ${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties"
  if [[ $? -eq 0 ]]; then
      echo "INFO:=======  [${broker}] Start successfully   =========="
  fi
done
echo "==============     Kafka集群启动成功!    ================"


写完后,为脚本添加执行权限:

chmod 777 start-kafka.sh

2.停止脚本:

说明:此停止脚本使用官方的kafka-server-stop.sh来停止Kafka进程,但是在使用kafka-server-stop.sh该脚本时会有些问题,具体操作请详见

Apache Kafka是一个分布式流处理平台,用于构建实时数据管道和流应用。为了管理和操作Kafka集群,通常会编写动和停止脚本来自动化这个过程。以下是创建Kafka集群动和停止脚本的一些基本步骤: **脚本(Kafka.sh)**: 1. **检查环境**: 确保所有依赖已安装,如Zookeeper、JDK等。 2. **设置环境变量**: 配置Kafka_HOME指向安装目录,设置其他环境变量如KAFKA_OPTS(例如内存限制)。 3. **动服务**: 使用`bin/kafka-server-start.sh`命令Kafka broker节点,可以指定配置文件路径。 4. **日志监控**: 可能还需要添加对日志文件和进程状态的检查。 **停止脚本(Kafka停止.sh)**: 1. **停止服务**: 使用`bin/kafka-server-stop.sh`命令优雅地关闭broker节点。 2. **确认停止**: 检查Kafka是否完全停止,包括清理网络连接和停止后台线程。 3. **清理资源**: 如果有持久化数据,确保它们已经妥善清理。 **例子脚本片段**(假设脚本名为kafka_start_stop.sh): ```bash #!/bin/bash # 动 start_kafka() { if [ ! -d "$KAFKA_HOME/logs" ]; then mkdir -p $KAFKA_HOME/logs fi export KAFKA_OPTS="-Dlog.dirs=$KAFKA_HOME/logs" echo "Starting Kafka..." bin/kafka-server-start.sh ${KAFKA_CONFIG_DIR}/server.properties & sleep 5 # 等待服务器动完成 } # 停止 stop_kafka() { echo "Stopping Kafka..." kill $(ps aux | grep kafka-server-start | awk '{print $2}') wait echo "Kafka stopped." } # 脚本控制 case "$1" in start) start_kafka ;; stop) stop_kafka ;; *) echo "Usage: ./kafka_start_stop.sh {start|stop}" exit 1 ;; esac ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值