CentOS上搭建hadoop集群

CentOS上安装hadoop集群

一、   环境

四台服务器，一台做主节点namenode，三台从节点datanode1，datanode2，datanode3

二、安装centos6.5（在四台机器做同样的操作）

1、配置固定ip

2、配置主机名vi/etc/sysconfig/network

（分别为namenode，datanode1，datanode2，datanode3）

三、配置路由器端口映射（同一个局域网不需要配置此项）

（ssh登录端口，vnc远程桌面端口）

重启VNC服务就用下面的命令：

servicevncserver restart

设置VNC服务开机启动用下面的命令：

chkconfigvncserver on

四、安装jdk（在四台机器做同样的操作）

1、搜索JDK 开发环境： yumsearch jdk

2、配置Java环境变量

#set java environment

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.65-0.b17.el6_7.x86_64

export JRE_HOME=$JAVA_HOME/jre

export PATH=$PATH:$JAVA_HOME/bin

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

3、在线激活环境变量

chmod +x /etc/profile 

source /etc/profile

4、查看Jdk是否安装成功

五、配置ssh无密钥登录

1、配置hosts文件

vi /etc/hosts  //root配置

scp/etc/hosts root@datanode1:/etc/hosts

scp/etc/hosts root@datanode2:/etc/hosts

scp/etc/hosts root@datanode3:/etc/hosts

2、分别在namenode、datanode1、datanode2，使用hadoop用户登录

ssh-keygen -t rsa //中途采用默认值（三次回车）

3、把公钥全部发送到一台机器上(登录到各datanode把公钥发送到namenode)

scp/home/hadoop/.ssh/id_rsa.pub   hadoop@namenode:/home/hadoop/.ssh/id_rsa.