**Hadoop2.6.0完全分布式安装**

Hadoop2.6.0完全分布式安装
步骤:
1.下载安装hadoop2.6.0.tar.gz 安装包 tar -zxvf hadoop2.6.0.tar.gz -C /usr/local/xxx
下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.6.0/
2.设置jdk环境 vi /etc/profile 配置/etc/profile(scala配置也在此处)
这里写图片描述
jdk是jdk-7u71-linux-x64.gz
Source /etc/porfile 让配置生效
配置/etc/hosts 在里面添加
IP1 master1
IP2 master2
IP3 slaves1
IP4 slaves2
3.配置hadoop环境
主要涉及的配置文件有7个:都在/etc/hadoop文件夹下,可以用gedit/vi命令对其进行编辑。
Hadoop-env.sh
Yarn-env.sh
Mapred-env.sh
Core-site.xml
Hdfs-site.xml
Yarn-site.xml
Mapred-site.xml
①Hadoop-env.sh 加上jdk安装目录(此目录为你安装的目录,笔者是安装在此处的)
这里写图片描述
②Yarn-env.sh 同样的加上安装目录
这里写图片描述
③Mapred-env.sh
这里写图片描述
④Core-site.xml (此处的master1是笔者机器的hostname)
这里写图片描述
core-site.xml各项配置可参考:
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/core-default.xml
⑤Hdfs-site.xml
这里写图片描述
hdfs-site.xml各项配置可参考:
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
⑥Yarn-site.xml
yarn-site文件配置的各项内容可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
这里写图片描述
⑦Mapred-site.xml
这里写图片描述
mapred-site.xml各项配置可参考:
http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
⑧配置slaves (datanode的hostname 一行一个)
这里写图片描述
4.格式化namenode
在hadoop 安装目录下输入:
Hdfs namenode -format
5.启动hadoop集群。./sbin/start-dfs.sh ./sbin/start-yarn.sh
这里写图片描述
这里写图片描述
hadoop web控制台页面的端口整理:
50070:hdfs文件管理
8088:ResourceManager
8042:NodeManager
19888:JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server)

输入master1:50070
这里写图片描述
输入master1:8088 (resourcemanager)
这里写图片描述
输入slaves1:8042
这里写图片描述
至此hadoop2.6.0集群搭建完成。
一直都在csdn上查资料,以后也要共享些东西了,博客会不断更新,有问题的部分,也望大家能指出。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值