Hadoop3.x版本安装及其应用部署_hadoop3.1.3 unable to find 'resource-types.xml-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_44685655/article/details/94296523

本文详细介绍了如何在多台计算机上搭建Hadoop集群，包括无密钥登录设置、Hadoop软件包解压、环境变量配置、核心配置文件修改、节点间文件分发、集群格式化与启动等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

** 需要准备的：**

1.   JDK   
2.   多台计算机
3.   实现无密登录

4.解压hadoop3.1.2

tar -zxvf hadoop3.1.2.tar.gz /usr/soft/

5.删除帮助文档

 rm -rf /usr/soft/hadoop-3.1.2/share/doc

6.修改hadoop-env.sh

export JAVA_HOME=/usr/soft/jdk1.8.0_211           #  echo $JAVA_HOME 你的路径
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

7 修改环境变量

vi /etc/profile
略  ...

8.修改core-site.xml

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://第一台主机IP:9820</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>你自己的文件存放路径 </value>
    </property>

9.修改hdfs-site.xml

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>从节点IP:9868</value>
    </property>

10.修改workers

写入所有datanode节点的名字

11.把hadoop分发给所有的从节点

scp  -r hadoop3.1.2/ 其他节点IP:$PWD

12.格式化启动

hdfs  namenode –format
start-all.sh

13.查看hadoop服务站点 http://IP:9870 可以看到datanode