Hadoop伪分布式集群搭建

hadoop完全分布式：3个及以上的实体机或者虚拟机组件的机群。
hadoop伪分布式：一个节点


看了以上两点相信你已经明白了，“用vm多装几个虚拟机配置完全分布式，然后做实验”这是完全可行的。实际上我们通常也是这么做的，当然可能要求你的电脑cpu和内存足够支撑你这一计划。

一点建议：如果你要开发基于Hadoop的分布式程序，伪分布式足够你实验了。如果你要做很多其他事情，比如玩玩cm，玩玩oozie，玩玩hbase，建议装多个虚拟机。

这里我就使用伪分布式搭建了>>>
在搭建之前需要准备些什么呢:::????

1. 一台配置好的虚拟机.

2. Hadoop2.7.5  #这里我使用的是hadoop2.7版本,大家使用别的版本也行,只要是2.5以上版本的就行

3. jdk-8.

4.需要一个xshell和xftp的终端模拟软件

先使用xshell连接上虚拟机.

ip a或者ifconfig查看ip

打开Xshell>>>>>

输入用户名和密码>>>>>>>

但你解压的时候出现权限不够,需要查一下你文件是不是属于hadoop

如果都属于hadoop那几看你的上级菜单,也就是opt文件夹

解压好文件后我们需要配置环境变量.

>>>还需要配置一个主的PATH>>>>>

export PATH = $PATH:$HADOOP/bin:$HADOOP/sbin

还需要给JDK配上环境变量::

刷新.bashrc文件,这个文件在主题目录下>>>>

source ~/.bashrc

进入

重启虚拟机:reboot

管理员,普通用户不行,才能重启虚拟机

重启完ping一下百度:

能通那你离成功就很近了.

修改一下文件::>>>>>

vi core-site.xml

vi mapred-site.xml

vi hdfs-site.xml

vi  slaves

vi yarn-site.xml

切换到root用户

关闭selinux

临时关闭
setenforce 0
永久关闭

vi /etc/selinux/config

修改

SELINUX=disabled

关闭防火墙
临时关闭
systemctl stop firewalld
永久关闭
systemctl disable firewalld

查看防火墙状态
systemctl status firewalld

退出管理员用户

执行hdfs文件系统格式化

hdfs namenode -format

jps是查看启动项,当你的启动项有:
nameNode

dataNode

ResourceManager

nodeManger

SecondaryNameNode

说明你成功的启动了hadoop集群.

 此时你去浏览器上访问你的ip加端口号就能进入到一个属于自己hadoop的存储空间