部署Hadoop集群,三个节点

本文详细介绍了如何在CentOS 6.2操作系统上搭建Hadoop 1.0.3集群,包括SSH免密码登录配置、Hosts文件设置、环境变量配置、核心配置文件调整等步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

操作系统:CentOS 6.2

Hadoop版本:1.0.3


接上一篇:http://blog.youkuaiyun.com/youngwizard/article/details/7620704


第一步:

ssh在三个节点之间已经实现无障碍通信,不需要输入密码


第二步:

三个节点的Hosts配置:vim /etc/hosts

namenode的ip地址 master

datanode的ip地址 slave1

datanode的ip地址 slave2


第三步:

配置Hadoop的环境变量:vim /etc/profile

export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export PATH=$HADOOP_HOME/bin:$PATH

别忘记设置Java的环境变量(不赘述)

配置生效:source /etc/profile


第四步:

配置Hadoop/conf目录下的:hadoop-env.sh

设置JAVA_HOME

然后通过scp命令同步到slave1,slave2,保证三个节点一致


配置Hadoop/conf目录下的:core-site.xml

<property>
    <name>fs.default.name</name>
    <value>hdfs://master:8888</value>
</property>

然后通过scp命令同步到slave1,slave2,保证三个节点一致


配置Hadoop/conf目录下的mapred-site.xml

<property>
    <name>mapred.job.tracker</name>
    <value>hdfs://master:9000</value>
</property>
然后通过scp命令同步到slave1,slave2,保证三个节点一致


配置Hadoop/conf目录下的:hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

然后通过scp命令同步到slave1,slave2,保证三个节点一致


配置Hadoop/conf目录下的masters:

master

配置Hadoop/conf目录下的slaves:

slave1

slave2

然后通过scp命令同步到slave1,slave2,保证三个节点一致


第五步:

到master的Hadoop/bin目录,

执行./hadoop namenode -format

执行./start-all.sh


完毕。













评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值