使用linux脚本shell检查大数据各节点服务是否运行正常

最新推荐文章于 2024-05-15 10:36:01 发布

原创

最新推荐文章于 2024-05-15 10:36:01 发布 · 1k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据 #shell #linux

该博客介绍了一个使用Linux Shell脚本的方法，用于检查大数据环境中的各个节点服务，包括ZK、Hadoop-HA、HDFS、YARN、HBase、Hive-Metastore、HiveServer2和Kafka等是否正常运行。脚本通过SSH连接到集群节点进行检查，并提示服务状态。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常，包括：zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。

注意修改成自己的集群节点名称及kafka版本

#!/bin/bash
# 定义机器名前缀
HN_PREFIX="hadoop.test"
KFK_NAME="kafka_2.12-1.1.0"

# 各服务对应节点
# zk 节点
ZK_NODES="$HN_PREFIX.n1 $HN_PREFIX.n2 $HN_PREFIX.n3" 
# hadoop HA DFSZKFailoverController 节点
DFC_NODES="$HN_PREFIX.m1 $HN_PREFIX.m2" 
# hadoop HA journalnode 节点
JOURNAL_NODES="$HN_PREFIX.n1 $HN_PREFIX.n2 $HN_PREFIX.n3 $HN_PREFIX.n4 $HN_PREFIX.n5" 
# DFS namenode 节点
NAME_NODES="$HN_PREFIX.m1 $HN_PREFIX.m2" 
# DFS datanode 节点
DATA_NODES="$HN_PREFIX.n1 $HN_PREFIX.n2 $HN_PREFIX.n3 $HN_PREFIX.n4 $HN_PREFIX.n5" 
# YARN resourcemanager 节点
RM_NODES="$HN_PREFIX.m1 $HN_PREFIX.m2" 
# YARN nodemanager 节点
NM_NODES="$HN_PREFIX.n1 $HN_PREFIX.n2 $HN_PREFIX.n3 $HN_PREFIX.n4 $HN_PREFIX.n5" 
# hadoop jobhistoryserver 节点
JOBHIS_NODES="$HN_PREFIX.m1" 
# hbase hmaster 节点
HMASTER_NODES="$HN_PREFIX.m1 $HN_PREFIX.m2" 
# hbase hregionserver 节点