HDFS的安装配置及常见问题

前言：和以前配置过HDFS的同学要来了配置文件，本文为记录配置过程及其过程中出现的问题。辅助软件：Xshell、WinCP。

master、slave1+2 的资源包地址：链接：https://pan.baidu.com/s/1r7EtO4vippqBwtS6Wxrxww   提取码：n6dz

hadoop-2.7.6、jdk-8、spark-2.1.1地址：链接：https://pan.baidu.com/s/1qVTvdOnHMnorL1QzkBF7Hg   提取码：fly8

注意：该master、slave1+2的IP地址最好自己重新配置一下（参考：Centos配静态IP地址 ），本资源的hadoop、jdk、spark安装路径：etc/opt/bigdata/app/ 。

一、总体步骤

1．下载并安装VMware软件；

2．将master（part1+part2）与slave1/2安装包导入虚拟机；(master文件太大故分成part1和2，解压到同一目录下即可。)

3．配置静态ip（设置为：master-192.168.74.31 slave1-192.168.74.32  slave2-192.168.74.33）

4．安装jdk与hadoop；(原文件已经配置完毕，为了保证无误再次配置作为检查。)

5．配置hadoop集群；

二、具体过程

1．下载并安装VMware软件；

2．将master（part1+part2）与slave1/2安装包导入虚拟机；

 

3．配置静态ip（设置为192.168.74.31-33）

（1）发现三台设备的ip未配置好

（2）用命令操作查看虚拟机的ip为192.168.74.1

（3）查看ifcfg-eth0

 

（4）增加上相应的ip地址（IPADDR/GATEWAY/NETMASK）

（5）重启服务发现有一项 FALLED

（6）解决配置eth0时提示Device does not seem to be present

（7）然后相同方法配置好slave1/2后，用Xshell连接上三台虚拟机

 

 4．安装jdk与hadoop; 

(1)分别向master、slave1/2配置jdk

（2）分别向master、slave1/2配置hadoop

5．配置hadoop集群；

具体配置文件：https://download.youkuaiyun.com/download/Ammo_smartisan/12361787

 

配置测试：

     在 MapReduce 组件里， 官方给我们提供了一些样例程序，其中非常有名的就是 wordcount 和 pi 程序。这些 MapReduce 程序的代码都在 hadoop-mapreduce-examples.jar 包里， 这 个 jar 包在 hadoop 安装目录下的/share/hadoop/mapreduce/目录里，我们使用 hadoop 命令来试跑例子程序，看看运行效果：

    测试成功，配置完毕。