CentOS 7.7 安装 Hadoop 3.1.3集群

扛麻袋的少年

已于 2024-01-17 10:52:38 修改

阅读量1k

点赞数 2

分类专栏： # Hadoop 文章标签： hadoop centos 大数据

于 2021-04-08 18:08:45 首次发布

本文链接：https://blog.youkuaiyun.com/lzb348110175/article/details/115477800

版权

Hadoop 专栏收录该内容

28 篇文章 ¥29.90 ¥99.00

订阅专栏

本文档详细介绍了在CentOS 7.7环境下，如何安装配置Hadoop 3.1.3集群，包括集群角色介绍、安装前提、集群部署规划、配置文件详解、安装步骤、环境变量配置、启动与测试，以及历史服务器和日志聚集的配置。特别强调了集群中各个节点的角色，配置文件的修改，SSH无密登录，以及集群时间同步的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop 2.x 版本安装，参考：CentOS 7.7 安装 Hadoop 2.10.1集群(2.x和3.x安装略有些许不同)

2024-01-17
Hadoop 3.3.6 版本安装，在此教程基础上，需要在每个节点进行如下操作：
1.在hadoop节点，输入hadoop classpath 命令，修改 yarn-site.xml 配置文件，添加如下配置
<property>
<name>yarn.application.classpath</name>
<value>复制hadoop classpath 命令返回内容，粘贴到这里</value>
</property>
2.在hadoop集群每个节点，修改 hadoop-env.sh 配置文件，添加如下配置：
export HDFS_NAMENODE_USER=hadoop
export HDFS_DATANODE_USER=hadoop
export HDFS_SECONDARYNAMENODE_USER=hadoop
export YARN_RESOURCEMANAGER_USER=hadoop
export YARN_NODEMANAGER_USER=hadoop
建议：不要使用root用户安装hadoop集群，此处使用的是hadoop用户安装的，所以此处配置的都是hadoop