搭建hadoop集群（内置资源和踩坑记录）

看着视频还花了我10个小时，从搭建虚拟机开始到集群搭建完，踩了很多坑，来记录一下。

环境：我是在vmware上搭建的虚拟机，虚拟机的版本是：CentOS-6.8-x86_64-bin-DVD1（资源：链接: https://pan.baidu.com/s/1gby4QqbU1z5bLc403FPf-w 提取码: g6t9 ）；

jdk版本：1.8.0_191（需要的给我留言）

maven版本：3.6.0（需要的给我留言）

hadoop版本：2.6.4（需要的给我留言）

现在开始说搭建了：

1.第一步先搭建虚拟机，这个有很多教程，你们自己找吧。我贴一下我的虚拟机的配置

2.虚拟机搭建好，不要急着去搭建第二个，第三个虚拟机。用root用户登录，修改密码为hadoop（这个方便后面的操作，以免忘记）

创建一个用户，命令：useradd hadoop(新增一个用户) passwd(密码)   密码就给hadoop（因为root的权限最大，容易造成操作失误，比如删除所有。所以我们用别的用户来做，这里就是hadoop这个用户）

3.这个时候，我们要去配3个东西：vi /etc/hosts

这里我配了3个地址，但是你们一开始就配当前虚拟机就可以，至于怎么获取你本机的网段可以看这个

点进去，是这样的

我配置的ip+主机名（这里就是域名）

这个命令是要去配置你本机的ip，网关等。

还有一个等会克隆第二个第三个机器的时候再说。

4.上面的配置配好好，你们就可以测试该虚拟机有没有配置ip和能不能ping通www.baidu.com了。

看到这个就是配置好了。

看到这个就是能ping通了。

5.上面说了那么多，只是为了要使用工具，SecureCRT用ssh连接该虚拟机，这里我就不仔细说怎么连接了。
6.现在要将jdk,maven,hadoop弄到服务器上。

6.1.由于我装的是虚拟机是mini版的，所以不能用-rz的方法上传，所以我用的SecureCRT来连接SFTP,将本地的jdk上传到/usr/local下（jdk，maven,hadoop都是使用这种方式。）

6.2 上传好后，解压到/usr/local文件夹下。（hadoop不是放在这个文件夹下的）

6.3 现在来配置环境变量  vi /etc/profile

配置这个的时候一定要小心，因为配错了，那么所有的命令都执行不了。只能强制修改该文件。（这里也是个坑，我原本这里是配错了。花了我20分钟！！！！）

7.前面说了创建了一个用户叫hadoop，用hadoop账户来连接服务器，mkdir apps(创建一个apps的文件夹，hadoop包就放在这里)，用6的方法将hadoop的包上传到apps下，并解压。

8.现在来说最重要的东西了：包路径是这样的：

下面的文件是这样的：这五个红框都是要修改的文件，那么接下来就是修改：这个文件执行一个命令

将名字 mapred-site.xml.template 改为mapred-site.xml

这里配置完后，还要执行一个命令  hadoop namenode -format

然后执行 hadoop-daemon.sh   start namenode (启动namenode节点)

9。打开这个网页：http://你服务器的ip:50070 就能看到hadoop提供给我们看的监测页面

（如果你在浏览器上连接不上，首先确定你服务器和电脑的防火墙都关了，还有要配置你的网络。）

这个要跟你服务器上的ip和网关匹配，才能连上外网。

10.上面的步骤只是完成一个namenode节点，下面我们来完成剩下的两个datanode。

10.1 将你的服务器克隆两个出来。我的服务器起名为：mini1,mini2,mini3。下面就用这个来说了。

10.2 克隆好后，重复上面说的第3条。然后第4条中我说到有个坑，这里要提醒你们，因为是克隆的mini1，所以有个文件中需要修改，不然连不上网

将第一个红框那里注释，第二个红框改为eth0。

10.3 由于是克隆，所以jdk,maven都在机器上了，而且都已经配置好了，无需再进行配置。

10.4 为了方便操作，还是按照上面流程创建hadoop用户。用SecureCRT来操作。

10.5 因为mini2和mini3都是data节点，所以我们在启动的时候就用这个命令 执行 hadoop-daemon.sh   start datanode (启动datanode节点)

11.在刚刚namenode节点启动后，hadoop提供给我们的页面上去找，如果你发现你有2个live node，那就说明你的集群搭建成功。（我在这里，要刷新1-3分钟，才能看到我的datanode以及进去了）（如果还没有看见，那就检查一下是否是防火墙没关）

 

 

总结：如果是命令不生效，那说明是配置文件错了。如果是ping不通或者浏览器打不开，先检查防火墙，再检查ip和网关对不对。如果是权限问题，那就给hadoop配置跟root一样的权限。

 

如果各位有什么问题，可以给我留言。

这一篇花了我快1个小时写完，结果写到一半，电脑死机了，还好csdn有自动保存的功能，不然真的哭了！！！

不过我自己搭建好，再总结好，可以说是非常的开心了。