作者：穿越 -- 教程来源于网络，回归于网络
前置准备
1 分析
Hadoop 2.0 里的 HA实现方式。作为了解, 如下图：
图片来源于网络
HA(High Available)：高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。
ZK(Zookeeper):用作NN的高活框架
ZKFC(ZooKeeper FailoverController):ZooKeeper故障切换控制器
NN(nameNode):
DN(dataNode):
JN(Journal Node):两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信
基于上图分析，我们最少需要4台虚机（node1,node2,node3,node4）
NN:选择node1,node2（真实环境nameNode不能和dataNode在同一台虚机，这里演示减少虚机，node2既做nameNode也当 dataNode）
ZKFC:只能选择nameNode所在的虚机
ZK:这里我们选择node1,node2,node3(由于zk的投票机制，只能是大于1的奇数)
DN:选择node2,node3,node4
JN:选择node2,node3,node4
| NN | ZKFC | ZK | DN | JN |
Node1 | 1 | 1 | 1 |
|
|
Node2 | 1 | 1 | 1 | 1 | 1 |
Node3 |
|
| 1 | 1 | 1 |
Node4 |
|
|
| 1 | 1 |
2 使用VMware 安装 centos7 虚机
目标4台（node1,node2,node3,node4）
安装一台
克隆 3台
VMware步骤
选择虚机 --> 右键-->管理-->克隆-->下一步-->虚拟机中的当前状态-->链接克隆
一个虚拟机的克隆就是原始虚拟机全部状态的一个拷贝，或者说一个镜像。克隆的过程并不影响原始虚拟机，克隆的操作一但完成，克隆的虚拟机就可以脱离原始虚拟机独立存在，而且在克隆的虚拟机中和原始虚拟机中的操作是相对独立的，不相互影响。克隆过程中，VMware会生成和原始虚拟机不同的MAC地址和UUID，这就允许克隆的虚拟机和原始虚拟机在同一网络中出现，并且不会产生任何冲突。
克隆的两种方式
1. 链接克隆
链接克隆需要和原始虚拟机共享同一虚拟磁盘文件，不能脱离原始虚拟机独立运行（依赖原始机的配置文件）。但采用共享磁盘文件却大大缩短了创建克隆虚拟机的时间，同时还节省了宝贵的物理磁盘空间。通过链接克隆，可以轻松的为不同的任务创建一个独立的虚拟机。
2. 完整克隆
完整克隆是和原始虚拟机完全独立的一个拷贝，它不和原始虚拟机共享任何资源。 可以脱离原始虚拟机独立使用。
这里我们使用连接克隆
3 修改主机名
# 永久性修改主机名为node1
[root@bogon ~]#hostnamectl set-hostname node1
# 查看主机状态
[root@bogon ~]# hostnamectl status
# 重启服务
[root@bogon ~]# systemctl restart systemd-hostnamed
4 修改 hosts文件
>vim etc/hosts
5 打通免密登录
#生成.ssh目录和公钥/私钥对。
#-P表示密码，-P '' 就表示空密码，也可以不用-P参数，这样就要三车回车，用-P就一次回车。
#~/.ssh/id_dsa生成的路径和文件名
>ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
#192.168.122.130上的操作
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.130
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.131
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.132
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.133
#192.168.122.131上的操作
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.130
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.131
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.132
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.133
#192.168.122.132上的操作
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.130
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.131
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.132
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.133
#192.168.122.133上的操作
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.130
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.131
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.132
>ssh-copy-id -i ~/.ssh/id_dsa.pub root@192.168.122.133
4个节点都要打通，包括自己打通自己的虚机
6 配置Java 安装路径
查找 java 路径
一般情况下我们会用whereis java 去找，可以按以下步骤来找：
1.>which java #定位到java的可执行路径
2.>ls -lrt /usr/bin/java
3.>ls -lrt /etc/alternatives/java
这样就知道jdk的真实安装路径：/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el7_4.x86_64
配置 java 环境变量
>vi /etc/profile
exportJAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el7_4.x86_64
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
保存退出后，使用source 刷新配置文件
>source /etc/profile
安装 jps 工具
>yum install -y java-1.8.0-openjdk-devel.x86_64
7 永久性关闭防火墙
Zookeeper和 Hadoop启动都会被防火墙拦截，这里我们永久性的关闭所有虚机的防火墙
>firewall-cmd --state # 查看防火墙状态
>systemctl stop firewalld.service # 停止防火墙
>systemctl disable firewalld.service# 禁止firewall开机启动
>systemctl status firewalld.service # 查看防火墙状态
如果不停止防火墙，NN 格式化会报错如下错误：
Zookeeper启动会报
>/opt/zookeeper-3.4.11/bin/zkServer.shstatus
ZooKeeper JMX enabled by default
Using config:/opt/zookeeper-3.4.11/bin/../conf/zoo.cfg
Errorcontacting service. It is probably not running.
Zookeeper 集群搭建
下载最新稳定版本
下载地址
http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.11/
上传到node1 虚机的 opt目录，解压
>tar –zxvf zookeeper-3.4.11
配置文件在conf文件夹中，将zoo_sample.cfg改名为zoo.cfg，并对其做响应修改
>cd conf
拷贝配置文件
>cp -a zoo_sample.cfg zoo.cfg
1 修改zk 配置文件
>vim zoo.cfg
1 新添如下内容
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888
说明：
# server.A=B:C:D
# A是一个数字，表示这是第几号服务器
# B是当前服务器的ID或者主机名
# C是Follower服务器与Leader服务器交换信息的端口
# D是当Leader挂掉时，重新选举Leader所使用的端口
2 客户端连接ZK服务器的端口
clientPort=2181 这里使用默认不用修改
3 指定ZK数据的目录
说明：请自行创建后在此处指定
dataDir=/opt/zkDataDir
2 创建 zk 工作目录
>mkdir /opt/zkDataDir
3 创建 zk 工作目录下的myid文件
注意：接下来需要在各个ZK节点的 dataDir目录下建立myid文件,各个ZK节点的myid文件内容不同 !!!
>cd /opt/zkDataDir
新建一个 myid 文件
>vi myid
里面输入一行，1 (步骤1里 server.x的数字x)
4 拷贝到其他 zk 节点
拷贝zookeeper数据目录到node2和node3 上
>scp -r zkDataDir/ root@node2:/opt/
>scp -r zkDataDir/ root@node3:/opt/
拷贝 zookeeper 目录到 node2 和node3
>scp -r zookeeper-3.4.11 root@node2:/opt/
>scp -r zookeeper-3.4.11 root@node3:/opt/
编辑 node2的myid内容为2，编辑 node3的myid内容为3
5 修改环境变量
>vi /etc/profile
在文件最后，unset 前添加zookeeper路径
export ZOOKEEPER_HOME=/opt/zookeeper-3.4.11
export PATH=$JAVA_HOME/bin:$PATH:$ZOOKEEPER_HOME/bin
使配置生效
>source /etc/profile
拷贝到 node2 和node3
>scp /etc/profile root@node2:/etc/
>scp /etc/profile root@node3:/etc/
分别切换到node2 和node3 执行一下source命令
>source /etc/profile
6 启动三个zookeeper
分别启动node1, node2, node3
>/opt/zookeeper-3.4.11/bin/zkServer.sh start
查看各个ZK的从属关系：
>/opt/zookeeper-3.4.11/bin/zkServer.shstatus
注意：
哪个ZK节点会成为leader是随机的，第一次实验时node1成为了leader，第二次实验时node2成为了leader！
此时，在各个节点都可以查看到ZK进程：QuorumPeerMain
>jps
7 Zookeeper 错误
1.>/opt/zookeeper-3.4.11/bin/zkServer.shstatus
ZooKeeper JMX enabled by default
Using config:/opt/zookeeper-3.4.11/bin/../conf/zoo.cfg
Errorcontacting service. It is probably not running.
查看网络上的解决问题
http://www.blogjava.net/hello-yun/archive/2012/05/03/377250.html
我遇到的问题
Zookeeper启动不起来，重新设置一个zookeeper的dataDir
Hadoop 伪集群搭建
这里演示使用2.9
下载地址
http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz
上传到node1 虚机的 opt目录，解压
>tar –zxvf Hadoop-2.9.0.tar.gz
配置HDFS
1 修改 hadoop-env.sh
修改 hadoop-env.sh 里的Java home
>cd /opt/hadoop-2.9.0/etc/hadoop/
>vim hadoop-env.sh
export JAVA_HOME=${JAVA_HOME}
改成 jdk 绝对目录路径
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el7_4.x86_64
说明：参照前置准备里的方法查看jdk真实的绝对路径
2 执行 bin/hadoop检查
>cd /opt/hadoop-2.9.0
>bin/hadoop
有帮助信息，说明hadoop 安装的没问题。
如果报错，请百度自行解决后在进行下一步。
3 修改 hdfs-site.xml
>vim hdfs-site.xml
新添如下内容
<!-- 起个 name node集群名:dtns -->
<property>
<name>dfs.nameservices</name>
<value>dtns</value>
</property>
<!-- dtns集群里的namenode名:nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.dtns</name>
<value>nn1,nn2</value>
</property>
<!-- dtns集群nn1的rpc地址 -->
<property>
<name>dfs.namenode.rpc-address.dtns.nn1</name>
<value>node1:8020</value>
</property>
<!-- dtns集群nn2的rpc地址 -->
<property>
<name>dfs.namenode.rpc-address.dtns.nn2</name>
<value>node2:8020</value>
</property>
<!-- dtns集群nn1的http地址 -->
<property>
<name>dfs.namenode.http-address.dtns.nn1</name>
<value>node1:50070</value>
</property>
<!-- dtns集群nn2的http地址 -->
<property>
<name>dfs.namenode.http-address.dtns.nn2</name>
<value>node2:50070</value>
</property>
<!-- JN 的主机地址 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://node2:8485;node3:8485;node4:8485/dtns</value>
</property>
<!-- JN 工作目录 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/jn/data</value>
</property>
<!-- 固定的，客户端通过这个类找active namenode-->
<property>
<name>dfs.client.failover.proxy.provider.dtns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- ssh 配置 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_dsa</value>
</property>
<!-- 开启自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
4 修改 core-site.xml
>vim core-site.xml
添加如下配置
<!-- NN 入口 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://dtns</value>
</property>
<!-- zookeeper 地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>node1:2181,node2:2181,node3:2181</value>
</property>
<!-- hadoop 临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadooptmp</value>
</property>
5 修改 slaves 配置 DD 节点
>cd /opt/hadoop-2.9.0/etc/hadoop
>vi slaves
新添 DataNode 内容如下
node2
node3
node4
6 拷贝hadoop的所有配置文件到其他节点
node2,node3,node4虚机，上传解压Hadoop
拷贝node1的配置到node2,node3,node4
>cd /opt/hadoop-2.9.0/etc/hadoop
>scp ./* root@node2:/opt/hadoop-2.9.0/etc/hadoop/
>scp ./* root@node3:/opt/hadoop-2.9.0/etc/hadoop/
>scp ./* root@node4:/opt/hadoop-2.9.0/etc/hadoop/
7 启动三个 JN （journalnode）
node2,node3,node4三个节点分别执行下面的启动命令
>cd /opt/hadoop-2.9.0/sbin
>./hadoop-daemon.sh start journalnode
8 格式化其中一个 NN
在两个 NN中随便选一个格式化，我们这里选择第一个node1执行
格式化指令
>cd /opt/hadoop-2.9.0/bin
>./hdfs namenode –format
成功后会产生元数据文件
/opt/hadooptmp
9 把格式化的NN元数据拷贝到其他NN节点
启动刚刚格式化的NN
>cd /opt/hadoop-2.9.0/sbin
>./hadoop-daemon.sh start namenode
要确保没有报错信息
使用专有的指令拷贝到其他NN
在没有格式化的 NN 上执行这里是 node2
>cd /opt/hadoop-2.9.0/bin
>./hdfs namenode –bootstrapStandby
查看生成的元数据
cd/opt/hadooptmp/
启动其他NN
>cd /opt/hadoop-2.9.0/sbin
>./hadoop-daemon.sh start namenode
10 初始化 ZKFC
在其中一个NN的节点上初始化zkfc
>cd /opt/hadoop-2.9.0/bin
>./hdfs zkfc -formatZK
11 启动 Hadoop服务
全面停止 dfs
先全面停止上述节点的服务
>cd /opt/hadoop-2.9.0/sbin
>./stop-dfs.sh
全面启动 dfs
>cd /opt/hadoop-2.9.0/sbin
>./start-dfs.sh
以上 zkfc 没有启动.启动失败
停止所有HDFS服务
>./stop-dfs.sh
格式化 zkfc
>cd /opt/hadoop-2.9.0/bin
> ./hdfs zkfc –formatZK
在启动所有HDFS服务
>cd /opt/hadoop-2.9.0/sbin
>./start-dfs.sh
12 浏览器访问
访问NN1 http://192.168.122.130:50070
如图所示
访问NN2 http://192.168.122.131:50070
有上图可以看出，谁先抢到锁，谁就是活动状态
13 上传文件
>cd opt/hadoop-2.9.0/bin/
创建上传目录 -P 路径上的目录
>./hdfs dfs -mkdir -p /opt/input
上传一个文件
>./hdfs dfs -put /opt/jdk-8u151-linux-x64.tar.gz /opt/input
查看上传的文件
14 我遇到的错误
重启虚机后，启动hadoop集群 DFSZKFailoverController启动不起来
解决方法
重新初始化ZKFC
配置MR
1 生成 mapred-site.xml
>cd /opt/hadoop-2.9.0/etc/hadoop
>cp -a mapred-site.xml.templatemapred-site.xml
2 修改 mapred-site.xml
<!-- 固定配法，使用 yarn框架 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3 修改 yarn-site.xml
>vim yarn-site.xml
<!-- RM 的主机名 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
4 拷贝配置文件 到其他节点
>cd /opt/hadoop-2.9.0/etc/hadoop
>scp ./* root@node2:/opt/hadoop-2.9.0/etc/hadoop/
>scp ./* root@node3:/opt/hadoop-2.9.0/etc/hadoop/
>scp ./* root@node4:/opt/hadoop-2.9.0/etc/hadoop/
5 全面停止 all
>cd /opt/hadoop-2.9.0/sbin
>./stop-all.sh
6 全面启动 all
>./start-all.sh
7 查看进程
>jps
由上图可以看出 nameNode少了 DFSZKFailoverController进程
，重新初始化ZKFC
扫一扫
6590
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
