Hadoop2.6.0完全分布式安装
步骤:
1.下载安装hadoop2.6.0.tar.gz 安装包 tar -zxvf hadoop2.6.0.tar.gz -C /usr/local/xxx
下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.6.0/
2.设置jdk环境 vi /etc/profile 配置/etc/profile(scala配置也在此处)
jdk是jdk-7u71-linux-x64.gz
Source /etc/porfile 让配置生效
配置/etc/hosts 在里面添加
IP1 master1
IP2 master2
IP3 slaves1
IP4 slaves2
3.配置hadoop环境
主要涉及的配置文件有7个:都在/etc/hadoop文件夹下,可以用gedit/vi命令对其进行编辑。
Hadoop-env.sh
Yarn-env.sh
Mapred-env.sh
Core-site.xml
Hdfs-site.xml
Yarn-site.xml
Mapred-site.xml
①Hadoop-env.sh 加上jdk安装目录(此目录为你安装的目录,笔者是安装在此处的)
②Yarn-env.sh 同样的加上安装目录
③Mapred-env.sh
④Core-site.xml (此处的master1是笔者机器的hostname)
core-site.xml各项配置可参考:
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/core-default.xml
⑤Hdfs-site.xml
hdfs-site.xml各项配置可参考:
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
⑥Yarn-site.xml
yarn-site文件配置的各项内容可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
⑦Mapred-site.xml
mapred-site.xml各项配置可参考:
http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
⑧配置slaves (datanode的hostname 一行一个)
4.格式化namenode
在hadoop 安装目录下输入:
Hdfs namenode -format
5.启动hadoop集群。./sbin/start-dfs.sh ./sbin/start-yarn.sh
hadoop web控制台页面的端口整理:
50070:hdfs文件管理
8088:ResourceManager
8042:NodeManager
19888:JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server)
输入master1:50070
输入master1:8088 (resourcemanager)
输入slaves1:8042
至此hadoop2.6.0集群搭建完成。
一直都在csdn上查资料,以后也要共享些东西了,博客会不断更新,有问题的部分,也望大家能指出。