【分布式编程】一——基于VirtualBox的Hadoop完全分布式环境搭建

系统架构

• 虚拟机环境：VirtualBox

• Linux系统：Ubuntu 16.04 LTS

• 工具包

  • JDK1.8
  • Hadoop 2.7.5
    

• 拓扑结构：如下

  

操作步骤

【注】本步骤以Master为例，其他虚拟机可以使用克隆功能复制，然后更改

安装常用软件

安装vim

sudo apt-get install vim

安装工具包

设置共享文件夹

1. 安装VirtualBox增强功能包,Ubuntu系统直接点击设备->安装增强功能
2. 剩余步骤看教程

安装JDK

1. 下载JDK-8u151
2. 剩余步骤看教程

创建用户组

创建用户组

每个主机都需要加入到同一用户组。此处创建名为hadoop用户组

sudo addgroup hadoop

查看当前用户

who

当前用户为t

添加当前用户到用户组

sudo adduser t hadoop #sudo adduser user group

查看归属用户组

groups t #group user

安装Hadoop

下载Hadoop

点击链接下载

解压Hadoop

将文件复制到/Downloads/文件夹下进行解压

cd Downloads/
tar -zxvf hadoop-2.7.5.tar.gz

将解压后的文件夹移动到/usr/文件夹

sudo mv hadoop-2.7.5/ /usr/

配置文件

需要配置的文件都在解压后的hadoop-2.7.5即usr/hadoop-2.7.5/文件夹中的/etc/hadoop/文件夹中

配置hadoop-env.sh

cd /usr/hadoop-2.7.5/etc/hadoop/
sudo vim hadoop-env.sh

添加java安装路径

配置core-site.xml

<configuration>  
    <property>  
        <name>fs.default.name</name>  
        <value>hdfs://master:9000</value>  
        <final>true