十七、master 节点部署

原创已于 2025-11-13 09:35:34 修改 · 340 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#前端

于 2025-11-10 11:55:54 首次发布

一、测试是否已安装Hadoop

hadoop version

二、修改环境变量（hadoop.sh）

cd /opt/module/hadoop-3.2.1/etc/hadoop

vim hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_281/
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

编辑核心文件（core-site.xml）

vim core-site.xml

<configuration>
<!-- 指定 NameNode 地址 -->
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://master:9000</value>
 </property>
<!-- 指定 Hadoop 数据存放目录 -->
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/module/hadoop-3.2.1/tmp</value>
 </property>
</configuration>

三、编辑 HDFS 配置文件（hdfs-site.xml）

vim hdfs-site.xml

<configuration>
<!-- hadoop 默认副本就是3,下面配置可以不设 -->
 <property>
   <name>dfs.replication</name>
   <value>3</value>
 </property>
</configuration>

四、编辑 YARN 配置文件（yarn-site.xml）

vim yarn-site.xml

文件内容解读：该配置文件用于设置 YARN（Yet Another Resource Negotiator，Hadoop 的资源管理器）的相关属性。

yarn.nodemanager.aux-services：配置 NodeManager 上运行的附属服务，需设置为mapreduce_shuffle，这样才能运行 MapReduce 程序，该配置也可使用默认值。
yarn.resourcemanager.hostname：指定 ResourceManager 的主机名为master，用于确定资源管理器的所在节点。

<configuration>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
  <description>NodeManager 上运行的附属服务。需配置成 mapreduce_shuffle，才可运行 MapReduce 程序默认值:“”</description>
</property>
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master</value>
  <description>指定 resourcemanager 的 hostname 为 master</description>
</property>
</configuration>

五、编辑 MapReduce 配置文件（mapred-site.xml）

vim mapred-site.xml

该配置文件用于设置 MapReduce 的相关属性，以支持其在 YARN 框架上运行及作业日志管理等功能。

mapreduce.framework.name：指定 MapReduce 运行的框架为yarn，即基于 YARN 来运行 MapReduce 程序。
mapreduce.jobhistory.address：设置 JobHistory（用于记录已完成的 MapReduce 运行日志）的地址为master:10020，默认情况下该功能未开启，配置后可记录日志信息并存储于 HDFS 目录中。
mapreduce.jobhistory.webapp.address：设置 MapReduce 运行日志的 web 访问地址为master:19888，方便通过网页查看作业历史。
yarn.app.mapreduce.am.env、mapreduce.map.env、mapreduce.reduce.env：这三个属性用于设置 MapReduce 相关组件的环境变量，指定HADOOP_MAPRED_HOME为/opt/module/hadoop-3.2.1/，确保组件能正确找到相关资源。

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  <description>指的是使用 yarn 运行 mapreduce 程序</description>
</property>
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>master:10020</value>
  <description>JobHistory 用来记录已经 finished(结束)的 mapreduce 运行日志,日志信息存放于 HDFS 目录,默认情况下没有开启此功能</description>
</property>
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>master:19888</value>
  <description>mapreduce运行日志的 web 访问地址</description>
</property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.2.1/</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.2.1/</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.2.1/</value>
</property>
</configuration>

六、编辑 workers 配置文件