Hadoop集群搭建

1.集群简介
Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起.
HDFS集群:负责海量数据的存储,集群中的角色主要由NameNode和DataNode
YARN集群:负责海量数据运算时的资源调度,集群中的角色主要由ResourceManager和NodeManager
2.集群搭建
2.1网络环境准备
- 采用NAT方式联网
- 网关地址192.168.12.2
- 3个服务器节点IP地址:192.168.12.6 192.168.12.8 192.168.12.10
- 子网掩码:255.255.255.0
2.2服务器系统设置
- 添加Hadoop用户,为Hadoop用户分配sudoer权限
- 同步时间
- 设置主机名 hdp-node1 hdp-node2 hdp-node3
- 配置内网域名映射
1. 192.168.12.6 hdp-node1
2. 192.168.12.8 hdp-node2
3. 192.168.12.10 hdp-node3
- 配置ssh免密登录
- 配置防火墙
2.3jdk环境安装
- 上传jdk安装包
- 规划安装目录 /home/apps/jdk_1.7.0_80
- 解压安装包
- 配置环境变量 /etc/profile
export JAVA_HOME=/home/apps/jdk1.7.0_80 export PATH=$PATH:$JAVA_HOME/bin
-刷新环境变量 source /etc/profile
2.4Hadoop安装部署
- 上传Hadoop安装包
- 规划安装目录 /home/apps/hadoop-2.6.1
- 解压安装包
- 修改配置文件
export HADOOP_HOME=/home/apps/hadoop-2.6.1 export PATH=$PATH:$HADOOP_HOME/bin
- 到/hadoop/etc目录
vi hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/home/apps/jdk1.7.0_80
vi core-site.xml


fs.defaultFS
hdfs://hdp-node1:9000


hadoop.tmp.dir
/home/apps/hadoop-2.6.1/tmp


vi hdfs-site.xml


dfs.namenode.name.dir
/home/hadoop/data/name


dfs.datanode.data.dir
/home/hadoop/data/data


dfs.replication
3


vi mapred-site.xml


mapreduce.framework.name
yarn


vi yarn-site.xml


yarn.resourcemanager.hostname
hdp-node1


yarn.nodemanager.aux-services
mapreduce_shuffle


vi salves
hdp-node2
hdp-node3
3.启动集群
初始化HDFS:/hadoop/bin目录下运行hadoop namenode -format
启动HDFS:/hadoop/sbin目录下start-dfs.sh
启动YARN:/hadoop/sbin目录下start-yarn.sh
然后进行测试,上传下载文件等等.