Hadoop3.x修改默认配置

有时集群可能与现有端口冲突，或者出于安全考虑会要修改默认端口或存储。下面列出了整理的常用配置项。

一、修改默认端口

涉及组件	配置项	默认端口	修改后端口	配置文件
zookeeper	端口	2181	123XX
zkui		9093	123XX	/app/zkui/config.cfg
hadoop	namenode的web访问	9870	123XX	hdsf-site.xml / dfs.namenode.http-address.mycluster.nn1
hadoop	namenode的RPC地址	8020	123XX	hdsf-site.xml / dfs.namenode.rpc-address.mycluster.nn1
hadoop	历史服务器	10020	123XX	mapred-site.xml / mapreduce.jobhistory.address
hadoop	历史服务器web	19888	123XX	mapred-site.xml / mapreduce.jobhistory.webapp.address
yarn	webapp地址	8088	123XX	yarn-site.xml / yarn.resourcemanager.webapp.address yarn.resourcemanager.webapp.address.rm1
yarn	日志聚集服务	19888	123XX	yarn-site.xml / yarn.log.server.url
hive	metastore	9083	123XX	hive-site.xml / hive.metastore.port
hive	hive.metastore.uris	9083	123XX	hive-site.xml / hive.metastore.uris
hive	webui	10002	123XX	hive-site.xml / hive.server2.webui.port
hive	thrift	10000	123XX	hive-site.xml / hive.server2.thrift.port
hive	thrift http	10001	123XX	hive-site.xml / hive.server2.thrift.http.port
			123XX	同步修改hivectl.sh脚本中的端口
hive	RPC port for LLAP	15004	123XX	hive-site.xml / hive.llap.management.rpc.port
hive	YARN shuffle port for LLAP	15551	123XX	hive-site.xml / hive.llap.daemon.yarn.shuffle.port
hive	LLAP daemon web UI	15002	123XX	hive-site.xml / hive.llap.daemon.web.port
hive	LLAP daemon output service	15003	123XX	hive-site.xml / hive.llap.daemon.output.service.port
spark	spark webui	8081	123XX	spark-env.sh / SPARK_MASTER_WEBUI_PORT
spark	spark master port	7077	123XX	spark-env.sh / SPARK_MASTER_PORT
spark	spark master port	7077	123XX	spark-defaults.conf / spark.master
spark	spark.ui.port	4040	123XX	spark-defaults.conf / spark.ui.port
hbase	hbase.master.port	16000	123XX	hbase-site.xml / hbase.master.port
hbase	master webui	16010	123XX	hbase-site.xml / hbase.master.info.port
hbase	regionserver port	16201	123XX	hbase-site.xml / hbase.regionserver.port
hbase	regionserver web	16301	123XX	hbase-site.xml / hbase.regionserver.info.port
dolphinscheduler	apiserver	12345	123XX

二、修改默认存储

涉及组件	配置文件	新的配置
zookeeper	zoo.cfg / dataDir	/appdata1/zookeeper/zdata/data
zookeeper	zoo.cfg / dataLogsDir	/appdata1/zookeeper/zdata/logs
hadoop	core-site.xml / hadoop.tmp.dir	/appdata1/hadoop/tmp
hadoop	hdfs-site.xml / dfs.journalnode.edits.dir	/appdata1/hadoop/journalnode
hive	hive-site.xml / hive.exec.local.scratchdir	/appdata1/hive/tmp/hiveuser
hive	hive-site.xml / hive.downloaded.resources.dir	/appdata1/hive/tmp/${hive.session.id}_resources
hive	hive-site.xml / hive.server2.logging.operation.log.location	/appdata1/hive/tmp/operation_logs
hbase	hbase-site.xml / hbase.tmp.dir	/appdata1/hbase/tmp

注:

1. 记得移动原目录/appdata下的文件到新目录

2. 记得删除zk中/hbase目录(若HMaster启动失败)

欢迎关注公众号，回复hadoop，获取从零开始Hadoop系列完整文档