hdfs默认数据存放路径

最新推荐文章于 2025-06-30 10:08:49 发布

浪灬迹-红尘少年

最新推荐文章于 2025-06-30 10:08:49 发布

阅读量5.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop 文章标签： hdfs默认数据存放路径

本文链接：https://blog.youkuaiyun.com/qq_33706146/article/details/90482023

Hadoop 专栏收录该内容

16 篇文章

订阅专栏

本文介绍了如何修改Hadoop HDFS的默认数据存放路径，包括`hadoop.tmp.dir`、`dfs.namenode.name.dir`、`dfs.datanode.data.dir`和`dfs.namenode.checkpoint.dir`的配置。重点强调了`hadoop.tmp.dir`的修改对datanode和namesecondary的影响，以及格式化HDFS和解决namenode启动问题的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.{hadoop.tmp.dir}:/tmp/hadoop-${user.name} ,在core-site.xml
   修改路径到当前用户目录下：
【/home/hyxy/tmp/hadoop】
       <property>
<name>hadoop.tmp.dir</name>
<value>/home/hyxy/tmp/hadoop</value>
               <description>A base for other temporary directories.</description>
           </property>
           控制生成的datanode和namesecondry生成的路径；
   注意：理解格式化的含义{创建dfs/name/fsimage，针对namenode守护进程}
   开启nomenode进程会失败：
   a.重新格式化，原有HDFS的数据全部删除掉；
       b.复制{/tmp/hadoop-hyxy/dfs/name}至{/home/hyxy/tmp/hadoop}路径下，重新开启namenode守护进程，问题解决；
2. 查看系统日志
【{HADOOP_HOME/logs/}】
3.分别设置dfs的相关目录，在hdfs-default.xml
name目录：
           <property>
           <name>dfs.namenode.name.dir</name>
           <value>file://${hadoop.tmp.dir}/dfs/name,file://${hadoop.tmp.dir}/dfs/name1</value>
           <description>
       确定DFS名称节点应在本地文件系统的哪个位置存储名称表（fsimage）。
        如果这是一个以逗号分隔的目录列表，则名称表将被复制到所有目录中，以实现冗余
       </description>
       </property>
   data目录:
           <property>
           <name>dfs.datanode.data.dir</name>
           <value>file://${hadoop.tmp.dir}/dfs/data</value>
           <description>
           确定DFS数据节点应该在本地文件系统上存储块的位置。
              如果这是以逗号分隔的目录列表，则数据将存储在所有已命名的目录中，通常位于不同的设备上。应该为HDFS存储策略标记相应的存储类型（[SSD] / [磁盘] / [存档] / [RAM_DISK]）。
           如果目录没有显式标记存储类型，则默认存储类型为DISK。如果本地文件系统权限允许，则不存在的目录将被创建。
       </description>
       </property>
   namesecondary目录:
       <property>
           <name>dfs.namenode.checkpoint.dir</name>
           <value>file://${hadoop.tmp.dir}/dfs/namesecondary</value>
           <description>
           确定本地文件系统上DFS辅助名称节点应该存储要合并的临时图像的位置。
            如果这是一个以逗号分隔的目录列表，则图像将复制到所有目录中以实现冗余。
           </description>
       </property>