本文详细介绍了一位工程师如何在Centos7环境下，使用JDK1.8和Hadoop1.8.0版本，自行搭建包含hdfs和yarn集群的Hadoop系统。配置过程涉及1个namenode，4个datanode，1个master和4个slave节点。文章深入解析了关键配置文件的设置，如hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、slaves及yarn-site.xml等。
16G内存
自己搭建的节点：
hdfs集群和yarn集群
1-namenode 4-datanode 1-master 4-slave
based on Centos 7 JDK1.8 hadoop1.8.0
NAT联网：同一个网段
设置好每个虚拟机的固定IP，和内网域名映射，ssh免密登录，防火墙关闭
需要的配置文件：
hadoop-env.sh 指定JAVA_HOME
core-site.xml
指定谁是namenode 指定其ip和端口号
hadoop.tmp.dir这是整个文件系统依赖的基本配置hdfs-site.xml
replication 配置的副本个数mapred-site.xml
mapreduce-framework-name 指定mapreduce跑在yarn集群上slaves 指定slave的内网域名
yarn-site.xml
yarn.resourcemanager.hostname:谁是yarn集群的master
yarn.nodemanager.aux-service: NodeManager上运行的负数服务，需要配置成mapreduces_shuffle，才能运行mapreduce程序
扫一扫
5982
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
