高可用的完全分布式HDFS集群搭建

1.集群规划

2.搭建步骤

(1)配置免密登录
在这些节点之间实现免密登录
node01->node01,node01->node02,node01->node03,node01->node04,
node02->node01
①所有节点执行 ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
②在node01节点执行，将node01的公钥加入到其他节点的白名单中
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node03
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node04
③在node02节点执行，将node01的公钥加入到其他节点的白名单中
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
(2)所有节点配置JDK
(3) 修改hdfs-site.xml配置文件

<property>
 	 <name>dfs.nameservices</name>
 	 <value>mycluster</value>
</property>
<property>
  	 <name>dfs.ha.namenodes.mycluster</name>
  	 <value>nn1,nn2</value>
</property>
<property>
  	 <name>dfs.namenode.rpc-address.mycluster.nn1</name>
 	 <value>node01:8020</value>
</property>
<property>
  	 <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  	 <value>node02:8020</value>
</property>
<property>
  	 <name>dfs.namenode.http-address.mycluster.nn1</name>
   	 <value>node01:50070</value>
</property>
<property>
  	 <name>dfs.namenode.http-address.mycluster.nn2</name>
  	 <value>node02:50070</value>
</property>
<property>
  	 <name>dfs.namenode.shared.edits.dir</name>
  	 <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>
<property>
  	 <name>dfs.journalnode.edits.dir</name>
  	 <value>/var/sxt/hadoop/ha/jn</value>
</property>
<property>
  	 <name>dfs.client.failover.proxy.provider.mycluster</name>  
  	 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  	 <name>dfs.ha.fencing.methods</name>
 	 <value>sshfence</value>
</property>
<property>
  	 <name>dfs.ha.fencing.ssh.private-key-files</name>
  	 <value>/root/.ssh/id_rsa</value>
</property>
<property>
   	 <name>dfs.ha.automatic-failover.enabled</name>
   	 <value>true</value>
 </property>

(4) 修改core-site.xml配置文件

<property>
   	 <name>fs.defaultFS</name>
  	 <value>hdfs://mycluster</value>
</property>
<property>
  	  <name>ha.zookeeper.quorum</name>
   	 <value>node02:2181,node03:2181,node04:2181</value>
</property>

(5)修改slaves配置文件
修改为
node02
node03
node04
注意：不要将三个节点写在一行，要一行一个，不然解析不了
(6)将配置好的安装包分发到其他节点上
scp -r hadoop-2.6.5 root@node02:/opt/software/hadoop/
(7)搭建zookeeper集群
①解压zookeeper安装包
②修改conf目录下的zoo_sample.cfg的名称，改为zoo.cfg
mv zoo_sample.cfg zoo.cfg
③修改zoo.cfg
dataDir=/var/zfg/zookeeper(修改)
server.1=node02:2888:3888(增加)
server.2=node03:2888:3888(增加)
server.3=node04:2888:3888(增加)
④在dataDir目录下创建一个myid文件，在这个文件中写上当前节点ID号，ID号就是server.后面的数。如：node02的ID号就是1
⑤将配置好的zookeeper安装包拷贝到node03 node04
⑥拷贝完毕后，在各自节点上创建myid文件，写上各自的ID号
(8)格式化NameNode(创建目录以及文件)
① 在node01、node02、node03分别执行如下命令
hadoop-daemon.sh start journalnode
② 随机选择一台NameNode执行：
hdfs namenode -format
hadoop-daemon.sh start namenode
③另外一台NameNode节点执行：
hdfs namenode -bootstrapStandby
(9)格式化ZKFC(格式化之前zookeeper要开启)
hdfs zkfc -formatZK
(10)关闭所有节点上的进程 (zookeeper不要关闭)
stop-dfs.sh
(11)启动HDFS
start-dfs.sh