搭建伪分布式hadoop系统

搭建伪分布式hadoop系统

 

一、搭建思路

1、软件准备

2、基础平台环境搭建

（1）VMware Workstation Pro 虚拟机安装

（2）CentOS-7-x86_64操作系统安装

（3）MobaXterm_Installer_v11.1远程登陆工具安装

3、Hadoop环境搭建

4、Hadoop环境测试

5、问题解决

 

二、软件准备

选择在虚拟机中搭建伪分布式hadoop集群系统，首先确定要使用哪些环境软件，使用软件准备如下（其他版本软件也可以尝试使用）：

1. VMware Workstation Pro 虚拟机，云盘链接：https://pan.baidu.com/s/1-fTvQ_MSN0o9xT9VqXToOw  提取码：4bbj
2. CentOS-7-x86_64-Everything-1908 服务器系统，云盘链接：https://pan.baidu.com/s/12Xl2R-PAlJGPr9Hq410l1g  提取码：p4qd
3. jdk-8u231-linux-x64.tar Java jdk环境安装包，云盘链接：https://pan.baidu.com/s/1h6qrNM10B6Vl-3p06lLpEg  提取码：j071
4. hadoop-2.8.3.tar Hadoop文件安装包，云盘链接：https://pan.baidu.com/s/14EsLaoY1rPMYwTehDhxdvQ  提取码：mfo3
5. MobaXterm_Installer_v11.1远程登陆辅助工具，云盘链接：https://pan.baidu.com/s/1F43kT3ejIZ8PLZT9KqWlDw  提取码：kqjj
6. WinSCPPortable ftp 客户端文件上传工具，云盘链接：https://pan.baidu.com/s/1LfZoDopgf7FvbUrCJ1tu4g  提取码：8hbi

 

三、基础平台环境搭建

1、VMware Workstation Pro 虚拟机安装调试

（1）解压安装包后，双击应用程序

（2）弹出对话框，单击下一步

（3）弹出对话框，勾选同意并单击下一步

 

（4）根据自己需要更改安装位置（可以不修改），并单击下一步

 

 

（5）可以不检查、不晚上，单击下一步

（6）单击下一步

（7）单击完成安装

（8）单击需课程，将下载文本文件中的需课程复制进来

 

（9）输入永久产品许可证密钥

（10）点击输入并完成安装

（11）桌面出现图标，表示完成安装

 

（12）虚拟机环境设置

为便于搭建的环境适用于不同的局域网环境，我将虚拟机设置为通过NAT访问外部网络，将虚拟机内部所有系统做成一个单独的局域网环境，并关闭DHCP动态配置，规划设计网段为192.168.150.0/24，网关设置为192.168.150.2。

（13）双击打开虚拟机桌面

（14）打开虚拟网络编辑器

（15）更改设置

（16）点击设置NAT配置

 

（17）修改网关IP地址，并确认

（18）修改本地虚拟网络地址vmnet8地址为手工

 

 

 

2、CentOS-7-x86_64-Everything-1908 服务器系统安装调试

（1）新安装的操作系统，地址规划为192.168.150.100/24， 网关地址规划为192.168.150.2；用户名：root；密码huawei@123

（2）双击打开桌面虚拟机

（3）点击创建虚拟机，其它选择默认，并单击下一步

 

（4）选择稍后安装系统，并单价下一步

（5）选择Linux Cetos 64位操作系统并单击下一步

（6）修改虚拟机名称为伪分布式Hadoop系统，并修改位置为指定位置，单击下一步，本步骤可以全部默认

（7）修改容量大小，实际盘中不需要完全对应起来，单击下一步

   （8）自定义硬件

（9）定义内存

 

（10）重新定义处理器

（11）定义系统ISO镜像文件路径