hadoop NameNode

理解Hadoop与HDFS的目录结构与副本管理

最新推荐文章于 2025-12-06 10:24:48 发布

原创最新推荐文章于 2025-12-06 10:24:48 发布 · 139 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

本文详细介绍了Hadoop NameNode与DateNode的工作原理，包括目录结构如何在一台主机内存中实现，以及数据块（block）如何在多台Linux主机上存储，同时解释了副本数（replication）的概念及其配置方法。

NameNode:目录结构(1台主机)，存在内存中

DateNode：存储数据(每个DateNode一台主机，有N台)
文件块(block)，hdfs默认为64MB一个块
存储N台Linux的/usr/local/hadoop/tmp/dfs/data/current下

副本数(replication)，默认3，可通过hadoop fs -ls /查看副本值。
编辑副本数，在/home/hadoop-1.1.2/conf/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>