【2019春招准备:102. hadoop集群搭建】

本文详细介绍了一位工程师如何在Centos7环境下,使用JDK1.8和Hadoop1.8.0版本,自行搭建包含hdfs和yarn集群的Hadoop系统。配置过程涉及1个namenode,4个datanode,1个master和4个slave节点。文章深入解析了关键配置文件的设置,如hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、slaves及yarn-site.xml等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

16G内存
自己搭建的节点:
hdfs集群和yarn集群
1-namenode 4-datanode 1-master 4-slave
based on Centos 7 JDK1.8 hadoop1.8.0

NAT联网:同一个网段
设置好每个虚拟机的固定IP,和内网域名映射,ssh免密登录,防火墙关闭

需要的配置文件:

hadoop-env.sh 指定JAVA_HOME

core-site.xml
指定谁是namenode 指定其ip和端口号
hadoop.tmp.dir这是整个文件系统依赖的基本配置

hdfs-site.xml
replication 配置的副本个数

mapred-site.xml
mapreduce-framework-name 指定mapreduce跑在yarn集群上

slaves 指定slave的内网域名

yarn-site.xml
yarn.resourcemanager.hostname:谁是yarn集群的master
yarn.nodemanager.aux-service: NodeManager上运行的负数服务,需要配置成mapreduces_shuffle,才能运行mapreduce程序

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值