Hadoop1.2.1完全分布式部署

Hadoop集群搭建

最新推荐文章于 2024-05-25 00:12:58 发布

转载最新推荐文章于 2024-05-25 00:12:58 发布 · 1.2k 阅读

文章标签：

2 篇文章

订阅专栏

本文详细介绍了一个包含Master和Slave节点的Hadoop集群搭建过程。从SSH无密码访问配置开始，逐步介绍核心配置文件如hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml等的具体设置方法。

首先确保各个节点主机之间能够SSH无密码访问，关于SSH无密码登陆的配置方法，参考 http://blog.youkuaiyun.com/spring292713/article/details/14000737

只在Master节点上配置，然后拷贝给其他节点，下面是master的详细配置。

1) 首先，需要配置的是在conf文件夹下找到hadood-env.sh这个文件，然后使用命令vi hadood-env.sh编辑此文件并取消注释的JAVA HOME，然后配上我们自己的的JDK路径，截图如下：

2) 第二我们需要配置的是conf下的core.site.xml这个文件 ,添加：

<property> 
<name>fs.default.name</name> 
<value>hdfs://192.168.85.152:9000</value> 
</property>

其中，192.168.85.152是Master主机的IP；截图如下：

3) 第三我们需要配置的是hdfs.site.xml这个文件，因为Salve机器的有1个Slave，所以
节点数写1就可以了，注意默认是3

<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property>

截图如下 :

4) 第四我们需要配置conf下的mapred-site.xml文件

<property> 
<name>mapred.job.tracker</name> 
<value>192.168.85.152:9001</value> 
</property>

其中，192.168.85.152是Master主机的IP；截图如下：

5) 第五我们需要配置conf下的master文件，直接把主节点的IP，加入其中即可，截图如下：

6) 第六我们需要配置conf下的slave文件，直接把子节点的IP，加入其中即可，截图如下：

7) 配置完成之后，我们在主节点上，执行bin/hadoop namenode -format 进行格式化，如图：

8) 格式化完毕之后，就可以通过scp进行远程拷贝到子节点了，截图如下：

9) 然后就可以在master节点上，执行启动命令:bin/start-all.sh,

启动成功之后，可以使用jps命令在各个节点上，查看端口情况，截图如下：

至此，我们的完全分布式集群部署，已经搭建完毕，停掉集群的命令是bin/stop-all.sh。