hadoop环境搭载

hadoop环境搭载：VMware Workstation 10.0.0+CentOS6.5+JDK 1.7.0_71+hadoop-2.7.2

下面开始配置分布式集群。

前期准备工作，大致分为以下几步：

1）安装jdk并检查是否正常。

2）每台几点上实现无密码认证及检查是否正常。

3）安装hadoop并配置，检查是否正常。

本次环境一共用了3台服务器，操作系统均使用CentOS6.5版本、JAVA使用的是版本是jdk1.7.0_71

主机名        IP地址                  用途

master        192.168.203.128         namenode、jobtracker、secondarynamenode

slave1        192.168.203.129         datanode、tasktracker

slave2        192.168.203.130         datanode、tasktracker

步骤1：启动master，slave1，slave2后，需要在三台机器上配置时间同步：

切换root用户，在terminal运行命令：/usr/sbin/ntpdate cn.pool.ntp.org

执行完命令，会看到下图的打印输输出：

步骤2.配置主机名

HadoopMaster 节点

使用 gedit 编辑主机名，如果丌可以使用 gedit，请直接使用 vi 编辑器（后面用到 gedit 的地方也同此处 处理一致）。

[root@master]$ gedit /etc/sysconfig/network

配置信息如下，如果已经存在则不修改，将 HadoopMaster 节点的主机名改为 master 

NETWORKING=yes #启劢网络

HOSTNAME=master #主机名

确实修改生效命令：

[root@master]$ hostname master

执行完命令，会看到下图的打印输输出：

 

同理，分别将hadoopslave1,hadoopslave2节点的主机名改为slave1，slave2

步骤3.使用setup命令配置网络环境

在终端中执行下面的命令：

[hadoop@master ~]$ ifconfig

如果看到下面的打印输出

 

如果看到存在内网 IP、广播地址、子网掩码，说明该节点不需要配置网络，否则需要进行网络设置

网络配置步骤如下：在terminal运行命令vi  /etc/sysconfig/network-scripts/ifcfg-eth0，按i进行insert操作，更改相应的IPADDR，GATWAY等信息，然后按esc键后输入：wq保存退出，最后启动网络服务：在terminal运行命令[root@master]$ /sbin/service network restart,最后在terminal运行ifconfig命令验证是否修改成功

同理，分别在hadoopslave1,hadoopslave2节点进行网络配置

步骤4.使用setup命令关闭防火墙

在terminal运行setup命令：[hadoop@master ~]$ setup

，会出现如下图中的内容：

光标移劢选择“Firewall configuration”选项，回车迚入选项

如果该项前面有“*”标，则按一下空格键关闭防火墙，如下图所示，然后光标移劢选择“OK”保存修改内容

 

同理，分别在hadoopslave1,hadoopslave2节点关闭防火墙

步骤5.配置hosts列表

需要在 root 用户下（使用 su 命令），编辑主机名列表的命令：

[root@master zkpk]$ gedit /etc/hosts

将下面两行添加到/etc/hosts 文件中：

192.168.203.128 master

192.168.203.129 slave1

192.168.203.130 slave2

同理，分别在hadoopslave1,hadoopslave2节点配置hosts列表

验证是否配置成功的命令是： 

[hadoop@master ~]$ ping slave1

如果出现下图的信息表示配置成功：

 

<