科大人使用的VisualBox来搭建Linux虚拟机,先新建一台LinuxUbuntu16.04版的虚拟机,配置虚拟机的过程在这里就不说了,看科大人心情要不要专门写一篇博客来叙述安装教程。
搭建基础的hadoop集群,科大人准备使用一台主机(master)和两台从机(slave1、slave2)来实现,主机配置的2G内存2核CPU,两从机配置的1G内存2核CPU,这个可以根据电脑配置做改变,但是主机最好2G2核以上,否则可能运行不起来。
网络配置的是桥接网卡,每台虚拟机上都要配置独立的静态ip(如下图)
第一台主机安装好后,不忙着安装另两台,等完全配置好第一台复制两份即可。
进入正题:
1、开启安装好的虚拟机,root登录,修改主机名:
进入hostname文件:vim /etc/hostname,将localhost改为master(你准备的主机名)保存退出,新主机名重启后生效。
进入hosts,添加域名和ip对应关系:vim /etc/hosts,添加你的ip和域名对应关系后保存退出,例如我的:
2、配置静态ip:
进入网络配置文件:vim /etc/network/interfaces,修改为如下图:
其中的address填入你准备的主机ip,netmask为子网掩码,gateway是网关,dns-nameservers是指向的域名地址(这个可以就填我的这个),子网掩码和网关通过cmd输入ipconfig可以查到你电脑的网络信息,准备的集群主机ip为上面hosts中配置master的ip,不要和你的电脑ip一样,通过在cmd输入ping加上ip来判断该ip是否已被占用。
配置好后保存退出,重启网络:/etc/init.d/networking restart,输入ping 163.com,如果能持续收到回应则网络配置成功,正常关机,对虚拟机进行快照备份,之后如果出了无法解决的问题就回滚到现在的状态,启动虚拟机,ifconfig查看ip是否配置好。
3、关闭防火墙:ufw disable
4、添加hadoop用户
添加hadoop分组:addgroup hadoop
添加hadoop用户并分配到hadoop分组中:adduser -ingroup hadoop hadoop(一路Enter键过去)
5、登录hadoop用户,自己在网上找到hadoop-2.7.2.tar.gz和 jdk-8u181-linux-x64.tar.gz的资源包,或者点击如下链接:
Hadoop http://archive.apache.org/dist/hadoop/common/
Jdk https://www.oracle.com/technetwork/java/javase/downloads/index.html
6、压缩包添加到hadoop用户目录下,解压资源包:
tar –xvf hadoop-2.7.2.tar.gz
tar –xvf jdk-8u181-linux-x64.tar.gz
7、配置环境变量:
进入配置文件:vim ~/.profile,在文件末尾添加如下内容:
export JAVA_HOME=/home/hadoop/jdk1.8.0_181
export HADOOP_HOME=/home/hadoop/hadoop-2.7.2
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
使文件生效:source ~/.profile。
测试jdk是否安装成功:java -version,显示当前版本。
8、修改hadoop文件:
进入路径:cd /home/hadoop/hadoop-2.7.2/etc/hadoop/
修改如下文件:
vim core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000