Hadoop HA-hadoop完全分布式高可用集群配置、高可用集群启动方式、master/slave1/slave2配置

最新推荐文章于 2025-05-12 14:54:47 发布

HaveAGoodDay.

最新推荐文章于 2025-05-12 14:54:47 发布

阅读量1.8k

点赞数 4

分类专栏： Hadoop 大数据应用开发赛项文章标签： hadoop 分布式大数据

本文链接：https://blog.youkuaiyun.com/HaveAGoodDay428/article/details/130216225

版权

本文档详细介绍了如何以root用户身份配置和启动Hadoop完全分布式高可用集群，涵盖了从解压Hadoop到配置hadoop-env.sh、hdfs-site.xml、core-site.xml和yarn-site.xml等多个步骤。此外，还涉及到zookeeper、journalnode的启动，以及通过ssh免密分发配置文件至slave节点，并最终启动整个集群的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop HA安装部署

本文章使用root用户完成相关配置与启动、这里分为master、slave1、slave2进行配置

一、将hadoop解压至需要的目录下

二、配置hadoop-env.sh启动文件

export JAVA_HOME=/opt/module/jdk1.8.0_212
//设置JDK路径

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HDFS_ZKFC_USER=root
//配置root用户权限（不配置将无法启动对应的进程）

三、配置hdfs-site.xml文件

<property>
    <name>dfs.nameservices</name>
    <value>hadoopcluster</value>
</property>

<!-- namenode存储目录 -->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/module/hadoop-2.7.7/namenode</value&