hadoop学习【5】——搭建伪分布式hadoop平台

hadoop学习【5】——搭建伪分布式hadoop平台

【前言】今天没事，想想这在机房搭建好的hadoop平台也不能跟着我走，学习hadoop也不方便，所以本着学习方便，所以在我自己的机子上部署个伪分布式的hadoop平台，刚刚跑起来了，所以写一篇博客跟大家分享下怎么去部署一台属于自己的所谓的hadoop平台。

一、环境介绍：

（1）硬件环境：我的机子是4G内存的，500G硬盘

（2）软件环境：虚拟机环境下的CentOS5.3  32位操作系统（这个系统貌似还有点问题，我前面在台式机上单独装的时候，会出现读不了物理网卡的情况，推荐大家装6.4的版本或以上的吧），机子本身是java的jdk的，但是版本过低。

二、JDK安装配置：

（1）jdk下载：这里一定要注意要下对应的JDK，32位还是64位，一定要看好，不要白忙活半天

（2）jdk配置：我这里下载的是jdk1.8.0_05，放在/usr目录下，

配置：vi /etc/profile，如下图，在下面接着加上如下内容，注意，目录结构应该跟你本机相对应

但是这个时候，如果你敲java或者javac会发现还是原来内置的jdk版本，或者根本找不到命令，因为还少了一件事没有做：

其中的source /etc/profile一定要写，让profile立即生效

但是，这里大家可以看到，我写了依旧出错，这个显示意味着版本不对，因为我在32位机器上装了64为的jdk

然后我换64位安装，还是安装上面的步骤即可，这个时候出现的问题如下：

这是selinux的设置的问题，修改下面的文件即可:

然后重启一下系统即可。

好现在输入java和javac都会有相应的正确的显示了。

三、hadoop安装配置

（1）hadoop下载：这里我依旧使用的hadoop-1.1.2

（2）hadoop配置（还是常规的配置）：

这里masters和slaves文件不需要改，因为根本就没有第二个结点了，自己就是自己的datanode

同样/etc/hosts也是不需要修改的

（3）免密码配置：这里相对于配置多台机子来说又要简单很多

只需要使用ssh-keygen -t rsa，一路enter即可，然后将id_rsa.pub复制到当前目录下的authorized.keys

然后测试一下：ssh localhost，不需要密码

OK，hadoop配置结束！！！

四、测试：

OK！！！大功告成