hadoop(2)--伪分布式集群安装

本文详细介绍了如何在服务器上部署Hadoop 2.4.1伪分布式集群的过程,包括安装和配置JDK,解压及配置Hadoop各组件等步骤,并演示了文件系统的格式化与启动方法。

1,将hadoop安装包上传到服务器上,我采用的是2.4.1,是一个比较老的版本,能说明问题就可以啦,解压:tar -zxvf hadoop-2.4.1.tar.gz -C app/ 将安装包解压到app目录下


现在进入app中的hadoop-2.4.1,认识一下hadoop都有什么东西


进入etc配置文件 cd etc/hadoop


还有一个hadoop-env.sh这个是hadoop的环境配置,正式开车,撸起袖子配置

①,要给hadoop配置jdk,因为hadoop使用java开发的,肯定需要jdk,好了安装jdk

将下载的jdk上传到服务器并解压

tar -zxvf jdk-8u161-linux-x64.tar.gz -C app/

配置环境变量

sudo vi /etc/profile


在末尾加上

export JAVA_HOME=/home/songlj/app/jdk1.8.0_161

export PATH=$PATH:$JAVA_HOME/bin


生效:source /etc/profile

测试是否安装成功java -version

如上图,则说明安装成功!

接下来就是配置hadoop的环境 vi hadoop-env.sh


修改JAVA_HOME


修改完,保存,进入第二部

②,核心配置,core-site.xml


③,修改hdsf-site.xml


④,配置mapred-sit.xml

mv mapred-site.xml.template mapred-site.xml

vi mapred-site.xml


⑤,配置yarn,[资源调度的框架]yarn-site.xml


这样就配置完了

文件系统初次使用需要格式化,hdfs也不例外

hdfs namenode -format

看到successfully就是格式化成功了

那么现在就启动 start-dfs.sh


每次询问都需要输入密码,依次是nameNode datanode secondNameNode


测试yarn start-yarn.sh



到这里伪分布式集群已经安装完毕

望指正,不吝赐教


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值