虚拟机部署HDFS_虚拟机安装hdfs-优快云博客

本文链接：https://blog.youkuaiyun.com/m0_74114770/article/details/137716433

本文详细介绍了如何将软件包上传至Hadoop1，包括解压、构建软链接、配置workers和hadoop-env.sh、core-site.xml以及hdfs-site.xml等关键文件。内容涵盖了环境变量设置、数据目录准备、文件系统格式化和HDFSWebUI界面查看，以及快照操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目标：

一、上传软件包到hadoop1中

二、解压hadoop

tar -zxvf /opt/software/ hadoop-3.3.4.tar.gz -C /opt/en/

三、构建软链接

然后cd到hadoop

四、配置workers文件

进入到workers文件中按两下dd删除localhost

五、配置hadoop-env.sh文件

六、配置core-site.xml文件

vim core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop1:8020</value>
  </property>

  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
</configuration>

七、配置hdfs-site.xml文件

# 在文件内部填入如下内容
<configuration>
  <property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>700</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/nn</value>
  </property>
  <property>
    <name>dfs.namenode.hosts</name>
    <value>hadoop1,hadoop2,hadoop3</value>
  </property>
<property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/dn</value>
  </property>
</configuration>