大数据——配置并启动集群/开启历史服务器和日志聚集

这篇文章对Hadoop进行配置，修改配置文件，启动并测试集群。开去历史服务器以及日志聚集。

部署规划#

	hadoop102	hadoop103	hadoop104
HDFS	NameNode、DataNode	DataNode	SencondNameNode、DataNode
YARN	NodeManager	ResourceManager、NodeManager	NodeManager

• NameNode和SecondNameNode不要安装在同一台服务器上
• ResourceManager也很消耗内存，不要和NameNode、SecondNameNode配置在同一台机器上

配置文件#

1、默认配置文件

默认配置文件可在对应的jar包中找到

配置文件	配置文件位置
core-default.xml	hadoop-common-3.1.3.jar/core-default.xml
hdf-default.xml	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
yarn-default.xml	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
mapred-default.xml	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

2、自定义配置文件

在$HADOOP_HOME/etc/hadoop中

文章使用的时/opt/module/hadoop-3.1.3/etc/hadoop

配置集群#

所有操作在swcode用户进行，非root

在hadoop102上配置