hadoop+nfs+zookeeper搭建集群

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。

测试环境

系统环境:RHEL6.5、selinux and iptables is disabled
Hadoop、jdk、zookeeper 程序使用 nfs 共享同步配置文件
软件版本:hadoop-2.7.3.tar.gz
zookeeper-3.4.9.tar.gz
jdk-7u79-linux-x64.tar.gz
nfs-utils

hadoop下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
jdk下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html
zookeeper下载地址：http://www-eu.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz
nfs-utils直接使用yum源安装

安装jdk

tar zxf jdk-7u79-linux-x64.tar.gz
ln -s jdk1.7.0_79/ jdk

vim ~/.bash_profile   ##添加环境变量到PATH的后面，和前面的用":"隔开

PATH=$PATH:$HOME/bin:/root/jdk/bin

source ~/.bash_profile

安装配置hadoop

tar zxf hadoop-2.7.3.tar.gz
ln -s hadoop-2.7.3 hadoop
cd hadoop

ps：hadoop和jdk的版本需要匹配，本文的jdk版本并不支持hadoop-2.7.4，我踩过的坑，大家就不要踩了！

HDFS高可用

配置 core-site.xml 文件

[hadoop@server1 hadoop]$ vim etc/hadoop/core-site.xml

<!-- 指定 hdfs 的 namenode 为 masters (名称可自定义)-->
<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://masters</value>
</property>

<!-- 指定 zookeeper 集群主机地址 -->
<property>
        <name>ha.zookeeper.quorum</name>
        <value>172.25.21.2:2181,172.25.21.3:2181,172.25.21.4:2181</value>
</property>
</configuration>

配置 hdfs-site.xml 文件

vim etc/hadoop/hdfs-site.xml

<!-- 指定 hdfs 的 nameservices 为 masters,和 core-site.xml 文件中的设置保持一致 -->
<configuration>
<property>
        <name>dfs.nameservices</name>
        <value>masters</value>
</property>
<!-- masters 下面有两个 namenode 节点,分别是 h1 和 h2 (名称可自定义)-->
<property>
<name>dfs.ha.namenodes.masters</name>
<value>h1,h2</value>
</property>
<!-- 指定 h1 节点的 rpc 通信地址 -->
<property>
<name>dfs.namenode.rpc-address.masters.h1</name>
<value>172.25.21.1:9000</value>
</property>
<!-- 指定 h1 节点的 http 通信地址 -->
<property>
<name>dfs.namenode.http-address.masters.h1</name>
<value>172.25.21.1:50070</value>
</property>
<!-- 指定 h2 节点的 rpc 通信地址 -->
<property>
<name>dfs.namenode.rpc-address.masters.h2</name>
<value>172.25.21.5:9000</value>
</property>
<!-- 指定 h2 节点的 http 通信地址 -->
<property>
<name>dfs.namenode.http-address.masters.h2</name>
<value>172.25.21.5:50070</value>
</property>
<!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://172.25.21.2:8485;172.25.21.3:8485;172.25.21.4:8485/masters</value>
</property>
<!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/tmp/journaldata</value>
</property>
<!-- 开启 NameNode 失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.masters</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法,每个机制占用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用 sshfence 隔离机制时需要 ssh 免密码 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置 sshfence 隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

配置slaves文件

vim etc/hadoop/slaves 

172.25.21.2
172.25.21.3
172.25.21.4

配置各节点nfs同步

vim /etc/exports
/home/hadoop    *(rw,anonuid=1000,anongid=1000)

# /etc/init.d/rpcbind start
Starting rpcbind:                                          [  OK  ]
# /etc/init.d/nfs start
Starting NFS services:                                     [  OK  ]
Starting NFS mountd:                                       [  OK  ]
Starting NFS daemon:                                       [  OK  ]
Starting RPC idmapd:                                       [  OK  ]
# showmount -e
Export list for server1:
/home/hadoop *
# exportfs -v
/home/hadoop    <world>(rw,wdelay,root_squash,no_subtree_check,anonuid=1000,anongid=1000)

其它NFS共享节点

# useradd -u 1000 hadoop   #创建用户
# mount 172.25.21.1:/home/hadoop/ /home/hadoop/   #挂载
# df -h    #查看挂载状态
Filesystem                    Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root   19G  907M   17G   6% /
tmpfs                         246M     0  246M   0% /dev/shm
/dev/vda1                     485M   33M  427M   8% /boot
172.25.21.1:/home/hadoop/      19G  2.1G   16G  12% /home/hadoop
# su - hadoop    #进入创建的用户

$ ls     #查看文件是否挂载成功
hadoop        hadoop-2.7.4.tar.gz  jdk1.7.0_79
hadoop-2.7.4  jdk                  jdk-7u79-linux-x64.tar.gz

安装zookeeper（存储节点，至少三个）

tar zxf zookeeper-3.4.9.tar.gz

编辑 zoo.cfg 文件

cd /home/hadoop/zookeeper-3.4.9/conf
cp zoo_sample.cfg zoo.cfg

vim zoo.cfg    #最后面添加

server.1=172.25.21.2:2888:3888
server.2=172.25.21.3:2888:3888
server.3=172.25.21.4:2888:3888

需要在dataDir目录即/tmp/zookeeper目录中创建 myid 文件,写入一个唯一的数字，数字为zoo.cfg中server.? 最后面的数字

mkdir /tmp/zookeeper
cd /tmp/zookeeper
echo 1 > myid    #其它两个节点分别为2和3

在各节点启动服务

[hadoop@server2 zookeeper-3.4.9]$ pwd
/home/hadoop/zookeeper-3.4.9
[hadoop@server2 zookeeper-3.4.9]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: follower

[hadoop@server3 zookeeper-3.4.9]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: leader

[hadoop@server4 zookeeper-3.4.9]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.9/bin/../conf/zoo.cfg
Mode: follower

启动 hdfs 集群(按顺序启动)

在三个 DN 上启动 zookeeper 集群（前面已启动可跳到下一步）

bin/zkServer.sh start

启动成功如下：

[hadoop@server2 zookeeper-3.4.9]$ jps
1703 Jps
1618 QuorumPeerMain

在三个 DN 上依次启动 journalnode(第一次启动 hdfs 必须先启动 journalnode)

[hadoop@server2 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@server2 hadoop]$ sbin/hadoop-daemon.sh start 
#其它两个同样启动

在h1上格式化 HDFS 集群

[hadoop@server1 hadoop]$ pwd
/home/hadoop/hadoop
bin/hdfs namenode -format

#Namenode 数据默认存放在/tmp,需要把数据拷贝到 h2
scp -r /tmp/hadoop-hadoop 172.25.0.5:/tmp

在h1上格式化 zookeeper

bin/hdfs zkfc -formatZK

在h1上启动 hdfs 集群

sbin/start-dfs.sh

[hadoop@server1 hadoop]$ sbin/start-dfs.sh
Starting namenodes on [server1 server5]
server1: starting namenode, logging to /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-namenode-server1.out
server5: namenode running as process 1706. Stop it first.
172.25.21.4: datanode running as process 2157. Stop it first.
172.25.21.3: datanode running as process 2125. Stop it first.
172.25.21.2: datanode running as process 2377. Stop it first.
Starting journal nodes [172.25.21.2 172.25.21.3 172.25.21.4]
172.25.21.4: journalnode running as process 2072. Stop it first.
172.25.21.2: journalnode running as process 2291. Stop it first.
172.25.21.3: journalnode running as process 2040. Stop it first.
Starting ZK Failover Controllers on NN hosts [server1 server5]
server1: starting zkfc, logging to /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-zkfc-server1.out
server5: zkfc running as process 1838. Stop it first.

访问172.25.21.1:50070 和172.25.21.5:50070

可以看到server5为active，server1为standby

测试

[hadoop@server5 tmp]$ jps
1838 DFSZKFailoverController
2221 Jps
1706 NameNode
[hadoop@server5 tmp]$ kill -9 1706

现在172.25.21.5:50070无法访问

[hadoop@server5 hadoop]$ sbin/hadoop-daemon.sh start namenode    #启动刚才关闭的namenode
starting namenode, logging to /home/hadoop/hadoop-2.7.3/logs/hadoop-hadoop-namenode-server5.out

这样hadoop和zookeeper组成集群就搭建完成。

yarn 的高可用

配置 mapred-site.xml 文件
在server1上

[hadoop@server1 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@server1 hadoop]$ cd etc/hadoop/

vim mapred-site.xml

<configuration>
<!-- 指定 yarn 为 MapReduce 的框架 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

vim yarn-site.xml

<configuration>
<!-- 配置可以在 nodemanager 上运行 mapreduce 程序 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 激活 RM 高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property><!-- 指定 RM 的集群 id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>RM_CLUSTER</value>
</property>
<!-- 定义 RM 的节点-->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 指定 RM1 的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>172.25.21.1</value>
</property>
<!-- 指定 RM2 的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>172.25.21.5</value>
</property>
<!-- 激活 RM 自动恢复 -->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!-- 配置 RM 状态信息存储方式,有 MemStore 和 ZKStore-->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</
value>
</property>
<!-- 配置为 zookeeper 存储时,指定 zookeeper 集群的地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>172.25.21.2:2181,172.25.21.3:2181,172.25.21.4:2181</value>
</property>
</configuration>

启动 yarn 服务

rm1上
sbin/start-yarn.sh

jps
2660 DFSZKFailoverController
2900 ResourceManager
3177 Jps
1515 NameNode

rm2上
sbin/yarn-daemon.sh start resourcemanager

jps
1479 NameNode
1854 ResourceManager
1899 Jps
1710 DFSZKFailoverController

测试：
连接172.25.21.1:8088 和 172.25.21.10:8088

hbase分布式部署

tar zxf hbase-1.2.4-bin.tar.gz
cd hbase-1.2.4

vim conf/hbase-env.sh

export JAVA_HOME=/home/hadoop/jdk    #指定jdk
export HBASE_MANAGES_ZK=false    #默认值时 true,hbase 在启动时自动开启 zookeeper,如需自己维护zookeeper集群需设置为false
export HADOOP_HOME=/home/hadoop/hadoop   #指定 hadoop 目录,否则hbase无法识别 hdfs 集群配置。

vim conf/hbase-site.xml


<configuration>
<!-- 指定 region server 的共享目录,用来持久化 HBase。这里指定的 HDFS 地址是要跟 core-site.xml 里面的fs.defaultFS 的 HDFS 的 IP 地址或者域名、端口必须一致。 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://masters/hbase</value>
</property>
<!-- 启用 hbase 分布式模式 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- Zookeeper 集群的地址列表,用逗号分割。默认是 localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>172.25.21.11,172.25.21.12,172.25.21.13</value>
</property>
<!-- 指定数据拷贝 2 份,hdfs 默认是 3 份。 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- 指定 hbase 的 master -->
<property><name>hbase.master</name>
<value>h1</value>
</property>
</configuration>

vim conf/regionservers
172.25.21.11
172.25.21.12
172.25.21.13

启动 hbase

pwd
/home/hadoop/hbase-1.2.4
bin/start-hbase.sh

jps
1479 NameNode
2417 ResourceManager
1710 DFSZKFailoverController
2770 Jps
2498 HMaster    #hbase进程

备节点运行:

bin/hbase-daemon.sh start master

HBase Master 默认端口时 16000,还有个 web 界面默认在 Master 的 16010 端口上,HBase RegionServers 会默认绑定 16020 端口,在端口 16030 上有一个展示信息的界面。