基于Ubuntu虚拟机的Spark简单集群搭建(一)

基本介绍

作为一个Big Data领域的小白，最近自己尝试搭建了一个简易的spark集群。因此打算写篇博客记录一下整个过程。但是担心把所有部分放在一篇文章中可能导致文章过长，因此打算写成两篇。在这篇文章中，我会详细地介绍spark集群搭建的第一部分，hadoop集群的搭建。

0.环境介绍

虽说是一个集群，但是我总共只使用了两台ubuntu虚拟机，其中一个作为主节点,另一个作为从节点。如果你想尝试使用更多的机器来搭建集群，也同样可以参考我的搭建过程，因为本质上差别不大。OK，下面我们正式进入hadoop集群的搭建过程。

1.通信确认

因为我们要搭建集群，那么首先就要确保集群中的机器可以进行正常通信，可以使用ping命令来测试是否能够与集群中的其他机器建立通信，以我的两台虚拟机为例（IP分别为192.168.56.9 & 192.168.56.11) 

$ ping 192.168.56.11

$ ping 192.168.56.9

如果产生以下结果，表示可以进行通信。

 

2.修改主机名

为了更加方便确认集群中的各台机器(尤其是你的集群内机器数量很多时), 最好修改一下各台机器的主机名hostname。比如将主节点命名为master,将从节点命名为slave。

具体可以通过如下方式修改

$ sudo vim /etc/hostname

比如我的原始主机名叫做virtualbox-frank,将其修改为master。保存退出，重启机器，就会发现主机名已经成功修改。

同理对于从节点机器，将其修改为slave。