大集群一致环境搭建--centos7.4-hadoop2.7.6-hbase0.98-phoenix4.13.1

---------Hadoop安装------------------

virtualbox安装centos7教程参考：

https://jingyan.baidu.com/article/4dc4084868a1e4c8d946f133.html

1.安装环境：操作系统[Mac]；虚拟机[virtualbox]；

Mac的virtualbox，鼠标切换快捷键：长按command；

注意这里的网口名是：enp0s3；（不是一般的eth0）;

SECURITY POLICY 安装过程这一步，记得改左下角的HOST NAME；

如果忘记了，hostnamectl set-hostname master；

查看主机名命令：hostnamectl；

centos7自带jdk1.8，都在/usr/lib/jvm/目录下，写入对应的即可；

局域网ip变化，清除/root/.ssh/known_hosts即可；

2.目标环境：

centos7.4
jdk1.8
Hadoop 2.7.6
HBase 0.98.23-hadoop2
phoenix4.13
内存：2G、硬盘：40G

三个节点：master,slave1,slave2

step1:安装系统centos7（centos7默认jdk1.8）

这是主节点的安装：主机名master；

安装之后是NAT联网状态；

step2:centos7没有jps问题

https://blog.youkuaiyun.com/u014729236/article/details/50264079

yum list | grep jdk-devel（注意有空格）

done！

step3:下载Hadoop

下载（注意：以root用户登录，点击Not Listed?，用户名root）（此时是NAT联网状态，先下载下Hadoop安装包，之后会切换成host-only，不能连接外网）

#下载  
wget http://apache.claz.org/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz
#解压  
tar -xzvf  hadoop-2.7.6.tar.gz    -C /usr/local 
#重命名   
mv  hadoop-2.7.6  hadoop

step4:master网络切换为host-only，reboot；

slave1和slave2安装操作系统（完全复制会导致ip重复问题）,处理jps问题，切换host-only, reboot；

step5:Hadoop部署

http://www.ityouknow.com/hadoop/2017/07/24/hadoop-cluster-setup.html

1.centos7关闭防火墙 systemctl stop firewalld

--------------HBASE安装-------------------------

参考教程：

http://www.ityouknow.com/hbase/2017/07/25/hbase-cluster-setup.html

step1：HBASE安装包从集群上拽下来

注意：

1.环境变量所有节点都要配置；

2.并不是完全按照教程，配置多一些/少一些；

step2:按教程；

注意：

启动HBASE是记得关闭所有节点的防火墙；

注意：

乱七八糟的事情导致hbase的hmaster或hregionserver秒挂或起不来，

hadoop dfs -rm -r /hbase

删除后可能导致org.apache.phoenix.exception.PhoenixIOException: SYSTEM.CATALOG问题，见上一篇文章6、7条；

或者看看logs：

java.net.NoRouteToHostException: 没有到主机的路由：关闭防火墙或者主机down掉了，看看能不能ping通；

step3:同步时钟；（注意同步时钟，否则csvbuldload报错！）

https://blog.youkuaiyun.com/jiangheng0535/article/details/10287609

注意：

centos7 启动ntp命令：

systemctl start ntpd

用ntpstat查看重启情况：

unsynchronised OR synchronised to NTP server (202.112.10.36) at stratum 3

注意：

我还注释掉了(主节点和从节点)

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst

注意：

每次master reboot之后，重新关闭防火墙并重启ntp服务，否则slave节点无法ntpdate同步：报错如下

no server suitable for synchronization found；

step4:Phoenix从集群上拽下来，按教程安装；

https://blog.youkuaiyun.com/bingoxubin/article/details/78626550

---------准备&上传实验数据-------------

用给集群准备的数据；

上传代码install；

测试csvbuldload（建表，执行csvbuldloads）；

2G内存，不够用，所以主机down掉了；

应该是virtualbox5.0使用Host-only网络时的bug，下载最新版本virtualbox；

总结：

1.关闭防火墙；

2.出问题尤其是HBASE，看日志；

3.通过那个ApplicationMaster跟踪job执行进度；