hadoop部署概要

节点分配：

控制节点14个、数据节点16个

HDFS

NameNode（server01-server02）、DataNode（server15-server30）、JournalNode（server09-server11）、ZKFC（server01-server02）

Yarn

ResourceManager（server06、server08）、NodeManager（server15-server30）、JobHistoryServer（server06）

Hbase

Hmaster（server10-server11）、RegionServer（server15-server30）、ThriftServer（server09-server11）

Zookeeper

Quorumpeer（server03-server05）

Hive

HiveServer（server12、server14）、HiveMetastoreServer（server12、server14）

Spark

SparkMaster（server06-server07）、SparkSQL（server07）、SparkWorker（server15-server30）

Storm

Nimbus（server09、server11）、Supervisor（server15-server30）

Solr

SolrServer（server15-server30）

Kafka

Kafka（server15-server30）

Flume

Flume（server15-server30）

Hue

Hue（server13）

Sqoop

Sqoop（server14）

DBServer

MYSQL（server12）

Imapla

Imaplad（server15-server30）、StateStore（server03-server05）、Catalog（server03-server05）

端口号分配：

组件	节点	默认端口	配置	用途说明
HDFS	DateNode	50010	dfs.datanode.address	datanode服务端口，用于数据传输
HDFS	DateNode	50075	dfs.datanode.http.address	http服务的端口
HDFS	DateNode	50020	dfs.datanode.ipc.address	ipc服务的端口
HDFS	NameNode	50070	dfs.namenode.http-address	http服务的端口
HDFS	NameNode	8020	fs.defaultFS	接收Client连接的RPC端口，用于获取文件系统metadata信息。
HDFS	journalnode	8485	dfs.journalnode.rpc-address	RPC服务
HDFS	journalnode	8480	dfs.journalnode.http-address	HTTP服务
HDFS	ZKFC	8019	dfs.ha.zkfc.port	ZooKeeper FailoverController，用于NN HA
YARN	ResourceManage	8088	yarn.resourcemanager.webapp.address	http服务端口
YARN	NodeManager	8042	yarn.nodemanager.webapp.address	http服务端口
YARN	JobHistory Server	10020	mapreduce.jobhistory.address	IPC
YARN	JobHistory Server	19888	mapreduce.jobhistory.webapp.address	http服务端口
HBase	Master	60000	hbase.master.port	IPC
HBase	MasterUI	16010	hbase.master.info.port	http服务端口
HBase	RegionServer	16020	hbase.regionserver.port	IPC
HBase	RegionServer	16030	hbase.regionserver.info.port	http服务端口
HBase	ThriftServer	9090		ThriftServer
Hive	Metastore	9083	/etc/default/hive-metastore export PORT=<port>
Hive	HiveServer	10000	/etc/hive/conf/hive-env.sh export HIVE_SERVER2_THRIFT_PORT=<port>
ZooKeeper	Server	2181	/etc/zookeeper/conf/zoo.cfg中clientPort=<port>	对客户端提供服务的端口
ZooKeeper	Server	2888	/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]	follower用来连接到leader，只在leader上监听该端口
ZooKeeper	Server	3888	/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn]	用于leader选举的。只在electionAlg是1,2或3(默认)时需要

启动命令：

集群组件	节点	命令
HDFS	NameNode	hadoop-daemon.sh start namenode
	DataNode	hadoop-daemon.sh start datanode
	JournalNode	hadoop-daemon.sh start journalnode
	ZKFC
Yarn	ResourceManager	yarn-daemon.sh start resourcemanager
	NodeManager	yarn-daemon.sh start nodemanager
	JobHistoryServer	mr-jobhistory-daemon.sh start historyserver
HBase	Hmaster	hbase-daemon.sh start master
	RegionServer	hbase-daemon.sh start regionserver
	ThriftServer	hbase-deamon.sh start thrift2
Zookeeper	Quorumpeer	zkServer.sh start
Hive	HiveServer	hive --service metastore &
	HiveMetastoreServer	hive --service hiveserver2 &
Spark	Spark Master	start-master.sh
	Spark SQL	spark-sql
	Spark Worker	start-master.sh