虚拟机搭建hadoop集群环境准备一

以下的linux命令最好自己敲，不同的界面直接复制可能有空格问题

1.准备三个虚拟机（系统centos6.7-x86）,这个ip自己根据主机电脑或笔记本的网关设置

       1）主机名：hadoop1,hadoop2,hadoop3

       2）分别对应ip:192.168.0.105,192.168.0.106,192.168.0.107，网关是192.168.0.1

2.修改三个虚拟机的ip为静态ip（vim /etc/sysconfig/network-scripts/ifcfg-eth0）

DEVICE=eth0
TYPE=Ethernet
UUID=a4346517-2ef0-4e73-b922-5134ec17f8a8
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none
HWADDR=00:0c:29:54:ee:05   //填写/etc/udev/rules.d/70-persistent-net.rules 中的网卡即ifconfig
IPADDR=填写虚拟机的ip
PREFIX=24
GATEWAY=192.168.0.1
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="System eth0"

设置好之后重启网络服务：service network restart

3.新增DNS配置（桥接模式下需要访问外网域名）

    vim /etc/resolv.conf  新增如下信息，

    nameserver 192.168.0.1 //你电脑的网关

3.修改计算机名

        vim /etc/sysconfig/network 中的HOSTNAME=hadoop1,其他节点类似

4.新增三个虚拟机的主机映射（vim /etc/hosts）

192.168.0.106 hadoop1
192.168.0.107 hadoop2
192.168.0.108 hadoop3

5.设置三个虚拟机之间无密钥登陆

       1）ssh-keygen -t rsa                               --生成密钥

       2）ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoop1    --把密钥发送到hadoop1的虚拟机

6.三个虚拟机都新增普通用户（安装hadoop软件习惯用普通用户（非root用户），也可以用root）并赋予sudo权限

       1）新增hadoop用户（用户名自己定）

                adduser hadoop  --创建hadoop用户

                passwd hadoop   --设置hadoop密码

       2）先切换到root用户

                 su - root

       3）赋予hadoop用户的sudo权限 

             3.1 chmod u+w  /etc/sudoers   --先赋予这个文件能写的权限              

             3.2 vim /etc/sudoers 

                --对这个文件进行修改（在第一行新增hadoop ALL=(root)NOPASSWD:ALL

             3.3 chmod u-w /etc/sudoers      --修改完成后把这个文件写的权限去掉

             或者直接3.2之后 记得保存使用:wq!  强制保存

7.三个虚拟机都关闭防火墙

       1）service iptables stop      --停止防火墙

       2）chkconfig iptables off     --设置开机不启动防火墙服务

8.三个虚拟机都禁用SELINUX

       vim /etc/sysconfig/selinux（把里面的SELINUX=enforcing改为SELINUX=disabled）

9.三个虚拟机都卸载系统自带的java jdk，重新安装java jdk

        1）rpm -qa|grep jdk                  --查看系统安装的jdk,下面两个是系统自带的jdk

              java-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64
              java-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_64

        2）rpm -e --nodeps java-1.7.0-openjdk-1.7.0.79-2.5.5.4.el6.x86_64        --卸载已安装的jdk

             rpm -e --nodeps java-1.6.0-openjdk-1.6.0.35-1.13.7.1.el6_6.x86_64   --卸载已安装的jdk

        3）手动安装java jdk（自己百度linux安装java jdk）

10.三个虚拟机时间同步设置

          1）vim /etc/ntp.conf   --设置hadoop1节点为集群的时间同步主服务器 (在hadoop1这台虚拟机上执行)，修改内容如下：

                   把这几个注释掉 

                   #server 0.centos.pool.ntp.org iburst
                    #server 1.centos.pool.ntp.org iburst
                    #server 2.centos.pool.ntp.org iburst
                    #server 3.centos.pool.ntp.org iburst

                    去掉注释#

                     restrict 192.168.0.1 mask 255.255.255.0 nomodify notrap

                     把下面这两个的注释去掉，如果没有则新增

                     server 127.127.1.0
                     fudge 127.127.1.0 stratum 10

           2） vim /etc/sysconfig/ntpd                 --设置hadoop1虚拟机时间和bios同步

                  新增  SYNC_HWCLOCK=yes

           3） 三个虚拟机都  service ntpd restart  --启动ntp服务

                  chkconfig ntpd on  --设置开机启动ntpd服务

           4）在hadoop2,hadoop3节点上新增定时时间同步任务（使用crontab -e）

                  crontab -e    --新增任务，内容如下：

                           0-59/10 * * * *  /sbin/service ntpd stop

                           0-59/10 * * * * /usr/sbin/ntpdate  hadoop1 

                           0-59/10 * * * *  /sbin/service ntpd start      

           5）在hadoop2,hadoop3上执行service crond restart  重启定时任务服务    

11.三个虚拟机用户最大进程数和文件打开数设置

         1）vim /etc/security/limits.conf          新增（可以百度这个文件怎么配置）

                       * soft nofile 65535
                       * hard nofile 65535
                       * soft nproc 32000
                       * hard nproc 32000

之后重启三个虚拟机 reboot