2024年Hadoop大数据应用：Linux 部署 HDFS 分布式集群_linux操作hdfs，2024年最新12年高级工程师的“飞升之路”

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

[root@hadoop .ssh]# ssh-copy-id -i id_rsa.pub hadoop

[root@hadoop .ssh]# ssh-copy-id -i id_rsa.pub node01

[root@hadoop .ssh]# ssh-copy-id -i id_rsa.pub node02

[root@hadoop .ssh]# ssh-copy-id -i id_rsa.pub node03

2.Linux 部署 HDFS 分布式集群

（1）官网

https://hadoop.apache.org/

查看版本

https://archive.apache.org/dist/hadoop/common/

（2）下载

wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

(3) 解压

tar -zxf hadoop-2.7.7.tar.gz

（3）移动

mv hadoop-2.7.7 /usr/local/hadoop

（4）更改权限

chown -R root.root hadoop

（5）验证版本

（需要修改环境配置文件hadoop-env.sh 申明JAVA安装路径和hadoop配置文件路径）

修改配置文件

[root@hadoop hadoop]# vim hadoop-env.sh

验证

[root@hadoop hadoop]# ./bin/hadoop version

（6）修改节点配置文件

[root@hadoop hadoop]# vim slaves

修改前：

修改后：

 node01
 node02
 node03

（7）查看官方文档

https://hadoop.apache.org/docs/

指定版本

https://hadoop.apache.org/docs/r2.7.7/

查看核心配置文件

https://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-common/core-default.xml

文件系统配置参数：

数据目录配置参数：

（8）修改核心配置文件

[root@hadoop hadoop]# vim core-site.xml

修改前：

修改后：

 <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://hadoop:9000</value>
          <description>hdfs file system</description>
      </property>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/var/hadoop</value>
      </property>
 </configuration>

（9）查看HDFS配置文件

https://hadoop.apache.org/docs/r2.7.7/hadoo