各类集群组件启动命令汇总及端口汇总

启动命令

zookeeper

zkServer.sh start
客户端：zkCli.sh

HDFS

start-dfs.sh

YARN

start-yarn.sh
yarn-daemon.sh start resourcemanager

HBase

start-hbase.sh
单进程启动：hbase-daemon.sh start regionserver

kafka

启动方法1（各节点分别启动）

		/home/hdp01/apps/kafka_2.11-1.1.0/bin/kafka-server-start.sh -daemon 
		/home/hdp01/apps/kafka_2.11-1.1.0/config/server.properties

启动方法2（各节点分别启动）

nohup kafka-server-start.sh \
/home/hdp01/apps/kafka_2.11-1.1.0/config/server.properties \
1>~/logs/kafka_std.log \
2>~/logs/kafka_err.log &

1. 创建topic
   kafka-topics.sh --create --topic bigscreen-1809 --zookeeper hdp02:2181/kafka --partitions 3 --replication-factor 3
2. 查阅topic
   kafka-topics.sh --describe --topic bigscreen-1809 --zookeeper hdp02:2181/kafka
   kafka-topics.sh --list --zookeeper hdp02:2181/kafka
3. 消费：kafka-console-consumer.sh --topic bigscreen-1809 --zookeeper hdp03:2181/kafka

Flume（各节点分别启动）

nohup bin/flume-ng agent -n a1 -c conf -f flume-kafka-sink1809.conf -D 
flume.root.logger=INFO,console >/dev/null 2>&1 &

Spark

start-spark.sh

用命令显示所有的datanode的健康状况

hadoop dfsadmin -report

单独启动或关闭

a.启动主节点
    hadoop-daemon.sh start namenode
b.启动丛节点
    hadoop-daemon.sh start datanode slave
c.开启resourcemanger
    yarn-daemon.sh start resouremanager
d.开启nodemanger
    yarn-daemons.sh start nodemanager

端口号汇总

Hadoop：

50070：HDFS WEB UI端口

8020 ： 高可用的HDFS RPC端口

9000 ： 非高可用的HDFS RPC端口

8088 ： Yarn 的WEB UI 接口

8485 ： JournalNode 的RPC端口

8019 ： ZKFC端口
19888：jobhistory WEB UI端口

Zookeeper:

2181 ： 客户端连接zookeeper的端口

2888 ： zookeeper集群内通讯使用，Leader监听此端口

3888 ： zookeeper端口 用于选举leader

Hbase:

60010：Hbase的master的WEB UI端口 （旧的） 新的是16010

60030：Hbase的regionServer的WEB UI 管理端口    

Hive:

9083  :  metastore服务默认监听端口

10000：Hive 的JDBC端口

Spark：

7077 ： spark 的master与worker进行通讯的端口  standalone集群提交Application的端口

8080 ： master的WEB UI端口  资源调度

8081 ： worker的WEB UI 端口  资源调度

4040 ： Driver的WEB UI 端口  任务调度

18080：Spark History Server的WEB UI 端口

Kafka：

9092： Kafka集群节点之间通信的RPC端口

Redis：

6379： Redis服务端口

mysql远程连接

若没有直接配置端口号：