hadoop2.7.2在Linux Ubuntu16.04虚拟机上的集群搭建

科大人使用的VisualBox来搭建Linux虚拟机,先新建一台LinuxUbuntu16.04版的虚拟机,配置虚拟机的过程在这里就不说了,看科大人心情要不要专门写一篇博客来叙述安装教程。

搭建基础的hadoop集群,科大人准备使用一台主机(master)和两台从机(slave1、slave2)来实现,主机配置的2G内存2核CPU,两从机配置的1G内存2核CPU,这个可以根据电脑配置做改变,但是主机最好2G2核以上,否则可能运行不起来。

网络配置的是桥接网卡,每台虚拟机上都要配置独立的静态ip(如下图)
网络设置

第一台主机安装好后,不忙着安装另两台,等完全配置好第一台复制两份即可。

进入正题:

1、开启安装好的虚拟机,root登录,修改主机名:
    进入hostname文件:vim /etc/hostname,将localhost改为master(你准备的主机名)保存退出,新主机名重启后生效。
    进入hosts,添加域名和ip对应关系:vim /etc/hosts,添加你的ip和域名对应关系后保存退出,例如我的:
配置ip和域名对应关系
2、配置静态ip:
    进入网络配置文件:vim /etc/network/interfaces,修改为如下图:
配置静态ip
    其中的address填入你准备的主机ip,netmask为子网掩码,gateway是网关,dns-nameservers是指向的域名地址(这个可以就填我的这个),子网掩码和网关通过cmd输入ipconfig可以查到你电脑的网络信息,准备的集群主机ip为上面hosts中配置master的ip,不要和你的电脑ip一样,通过在cmd输入ping加上ip来判断该ip是否已被占用。

    配置好后保存退出,重启网络:/etc/init.d/networking restart,输入ping 163.com,如果能持续收到回应则网络配置成功,正常关机,对虚拟机进行快照备份,之后如果出了无法解决的问题就回滚到现在的状态,启动虚拟机,ifconfig查看ip是否配置好。

3、关闭防火墙:ufw disable

4、添加hadoop用户
    添加hadoop分组:addgroup hadoop
    添加hadoop用户并分配到hadoop分组中:adduser -ingroup hadoop hadoop(一路Enter键过去)

5、登录hadoop用户,自己在网上找到hadoop-2.7.2.tar.gz和 jdk-8u181-linux-x64.tar.gz的资源包,或者点击如下链接:
    Hadoop http://archive.apache.org/dist/hadoop/common/
    Jdk https://www.oracle.com/technetwork/java/javase/downloads/index.html

6、压缩包添加到hadoop用户目录下,解压资源包:
    tar –xvf hadoop-2.7.2.tar.gz
    tar –xvf jdk-8u181-linux-x64.tar.gz
忽略zookeeper压缩包
7、配置环境变量:
    进入配置文件:vim ~/.profile,在文件末尾添加如下内容:

export JAVA_HOME=/home/hadoop/jdk1.8.0_181
export HADOOP_HOME=/home/hadoop/hadoop-2.7.2
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

    使文件生效:source ~/.profile
    测试jdk是否安装成功:java -version,显示当前版本。

8、修改hadoop文件:
    进入路径:cd /home/hadoop/hadoop-2.7.2/etc/hadoop/
    修改如下文件:
    vim core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值