【甘道夫】NN HA 对于 Client 透明的实验

之前转载过一篇【伊利丹】写的NN HA实验记录。该博客描写叙述了主备NN透明切换的过程，也就是说，当主NN挂掉后，自己主动将备NN切换为主NN了，Hadoop集群正常执行。

今天我继续做了一个实验。目的是实现NN的切换不会对Client端程序造成影响，即NN切换对Client透明。

首先，非常重要的一点：

要保证core-site.xml中的

1. <property>  
2.     <name>fs.defaultFS</name>  
3.     <value>hdfs://hadoop-cluster</value>   
4. </property>

和hdfs-site.xml中的

1. <property>  
2.     <name>dfs.nameservices</name>  
3.     <value>hadoop-cluster</value>  
4. </property>

逻辑名称一定要一致。

其次：

/etc/hosts文件里无需为hadoop-cluster指定IP，hadoop-cluster仅仅是一个逻辑名，当程序或者命令通过hadoop-cluster訪问HDFS集群时，Hadoop会自己主动依据hdfs-site.xml的配置。去找到一个active的Namenode。

当然，hdfs-site.xml中的

1. <property>  
2.     <name>dfs.namenode.rpc-address.hadoop-cluster.namenode1</name>  
3.     <value>NODE001:8020</value>  
4. </property>  
5. <property>  
6.     <name>dfs.namenode.rpc-address.hadoop-cluster.namenode2</name>  
7.     <value>NODE002:8020</value>  
8. </property>

和/etc/hosts文件里的NODE001、NODE002是必须配置的，否则Hadoop再聪明也没法得知究竟和哪个节点交互了。

最后就是Client了，

不管Namenode怎样切换，都能够在随意Hadoop节点上正常执行命令  hadoop dfs -ls hdfs://hadoop-cluster/  ，或者在程序中，将HDFS目标地址指定为  hdfs://hadoop-cluster 就可以正常执行程序。

关键在于。不通过IP地址或主备NN的主机名訪问HDFS。而是通过HDFS的逻辑名訪问。

这种话。命令和程序的执行与当前Active的Namenode是哪个节点毫无关系，一切皆透明，感觉真爽！

转载于:https://www.cnblogs.com/mqxnongmin/p/10621853.html