Hadoop + hbase + Zookeeper + spark + scala 集群搭建

在学习大数据过程中，搭建环境笔记：

1.装载3个vm  master、slave1、slave2（CentOS6.4 64位）
2.（所有 root用户）新建用户/密码 hadoop/hadoop123
3.（所有 root用户）修改主机名称
$ vi /etc/sysconfig/network


ETWORKING=yes
HOSTNAME=master


ETWORKING=yes
HOSTNAME=slave1


ETWORKING=yes
HOSTNAME=slave2


4.（所有 root用户）配置静态IP，只改贴的部分其他不动
$ vi /etc/sysconfig/network-scripts/ifcfg-eth0




BOOTPROTO="static"
IPADDR=192.168.246.175
NETMASK=255.255.0.0
GATEWAY=192.168.246.1
DNS1=8.8.8.8
#TYPE="Ethernet"


BOOTPROTO="static"
IPADDR=192.168.246.176
NETMASK=255.255.0.0
GATEWAY=192.168.246.1
DNS1=8.8.8.8
#TYPE="Ethernet"


BOOTPROTO="static"
IPADDR=192.168.246.177
NETMASK=255.255.0.0
GATEWAY=192.168.246.1
DNS1=8.8.8.8
#TYPE="Ethernet"


5.（所有 root用户）重启使配置的静态IP生效
$ /etc/init.d/network restart


6.（所有 root用户）配置hosts
$ vi /etc/hosts


192.168.246.175 master
192.168.246.176 slave1
192.168.246.177 slave2


7.（所有 root用户）永久关闭防火墙 并重启使之生效
$ chkconfig iptables off
$ shutdown -r now


8.配置无密码SSH连接
（主机master hadoop用户）生成公钥 并 发布到 分机slave1、slave2
$ ssh-keygen -t rsa
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@master
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave1
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave2


8. （所有 root用户）安装jdk
将安装包放在/opt目录下
$ cd /opt
$ tar -zxvf jdk-7u79-linux-x64.tar.gz


9.（所有 root用户）配置环境变量 并 使文件生效
$ vi /etc/profile


export JAVA_HOME=/opt/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin


$ source /etc/profile




-- (所有 root用户) 取得/opt权限给hadoop用户
$ chown -R hadoop /opt


10.（主机master hadoop用户）安装hadoop


将安装包放在/opt目录下
$ cd /opt
$ tar -zxvf hadoop-2.5.2.tar.gz
$ mv hadoop-2.5.2 hadoop


11. （主机master hadoop用户）修改配置文件


$ vi /opt/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/jdk1.7.0_79
export HADOOP_HOME=/opt/hadoop


$ vi /opt/hadoop/etc/hadoop/core-site.xml
<configuration>
  <