在Linux的Centos6.5搭建hadoop集群环境

Centos6.5搭建hadoop集群环境

先概括一下整体思路

1. 安装centos6.5主机
2. 关闭防火墙和selinux
3. 配置网络
4. 时间同步
5. ssh无密码登录设置
6. 安装jdk
7. 安装hadoop
8. 启动
9. wordcount测试

• 安装centos6.5主机

1. 使用vmware创建三台centos操作系统

本人的三台主机名与IP如下：

master              192.168.9.128

slave1               192.168.9.129

slave2               192.168.9.130

1. 添加用户

三台主机都添加相同名称与密码的普通用户,如 michael

useradd   michael

passwd    michael      --------设置密码

1. 修改hosts文件

修改三台虚拟主机的hosts文件，保持一样

vi   /etc/hosts,  

追加：

192.168.9.128    master

192.168.9.129         slave1

192.168.9.130         slave2

• 关闭防火墙与SELINUX

1、防火墙

#service iptables stop

#service ip6tables stop

这个命令可以临时关闭防火墙

 

#chkconfig iptables off

#chkconfig ip6tables off

这个命令可以永久关闭防火墙

 

#chkconfig iptables --list

#chkconfig ip6tables --list

这个命令可以查看防火墙的状态

2、SELINUX服务

# vi /etc/selinux/config

 

将文件里标红的部分改为disabled

 

# This file controls the state of SELinux on the system.

# SELINUX= can take one of these three values:

#     enforcing - SELinux security policy is enforced.

#     permissive - SELinux prints warnings instead of enforcing.

#     disabled - No SELinux policy is loaded.

SELINUX=disabled

# SELINUXTYPE= can take one of these two values:

#     targeted - Targeted processes are protected,

#     mls - Multi Level Security protection.

SELINUXTYPE=targeted

 

重启后永久关闭selinux

 

#sestatus -v

这个命令可以查看selinux的状态

 

#setenforce 0

这个命令可以临时关闭selinux

 

 

 

三、配置网络

配置IP有两种方式：自动获取ip和设置静态IP

A、自动获取ip

# vi  /etc/sysconfig/network-scripts/ifcfg-eth0

ONBOOT=yes---------设置开机自动激活网卡

1、桥接模式:

相当于连接到物理机所在的网络中，与物理机的ip处在同一ip段位上，物理机网络的DHCP会自动分配ip给虚拟主机

2、Nat模式:

相当于连接到物理机的VMnet8网络中，与VMnet8处在同一ip段位上，同样，VMnet8会自动分配ip给虚拟主机

修改设置后，重置网络服务

#  service  network   restart

B、设置静态ip

只需要查看我注释的几项即可，没有就添加

1、桥接模式：

DEVICE=eth0

TYPE=Ethernet

UUID=edece2c6-947e-4e8b-ab2e-43ed59c6a614

ONBOOT=yes

NM_CONTROLLED=yes

BOOTPROTO=static  ----------修改成static或none都行

HWADDR=00:0C:29:5e:1f:c3

DEFROUTE=yes

PEERDNS=yes

PEERROUTES=yes

IPV4_FAILURE_FATAL=yes

IPV6INIT=no

NAME="System eth0"

IPADDR=192.168.1.200   ----------设置成你想要的IP(与物理机在同一段位)

NETMASK=255.255.255.0   --------子网掩码

GATEWAY=192.168.1.1    ----------网关(与物理机一致)

 

 

2、Nat模式

DEVICE=eth0

TYPE=Ethernet

UUID=edece2c6-947e-4e8b-ab2e-43ed59c6a614

ONBOOT=yes

NM_CONTROLLED=yes

BOOTPROTO=static     -----------修改成static

HWADDR=00:0C:29:5e:1f:c3

DEFROUTE=yes

PEERDNS=yes

PEERROUTES=yes

IPV4_FAILURE_FATAL=yes

IPV6INIT=no

NAME="System eth0"

IPADDR=192.168.9.200    ----------