HDFS副本机制

HDFS副本机制

目标：掌握HDFS的数据备份机制（数据副本）

HDFS视硬件错误为常态，硬件服务器随时有可能发生故障。

为了容错，文件的所有 block 都会有副本。每个文件的 block 大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变。

数据副本默认保存三个副本，我们可以更改副本数以提高数据的安全性

在hdfs-site.xml当中修改以下配置属性，即可更改文件的副本数

<property>
      <name>dfs.replication</name>
      <value>3</value>
</property>

低版本Hadoop副本节点选择：

1. 第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。
2. 第二个副本和第一个副本位于不相同机架的随机节点上。
3. 第三个副本和第二个副本位于相同机架，节点随机。

Hadoop2.7.2副本节点选择：

1. 第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。
2. 第二个副本和第一个副本位于相同机架，随机节点。
3. 第三个副本位于不同机架，随机节点。