Hadoop完全分布式模式配置并运行wordcount

最新推荐文章于 2024-07-06 00:20:02 发布

原创

最新推荐文章于 2024-07-06 00:20:02 发布 · 1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop完全分布式 #wordcount #虚拟机

本博客详细介绍了在Linux虚拟机中配置Hadoop完全分布式模式的过程，包括新建节点、修改配置文件、集群格式化、启动集群以及运行Wordcount示例。通过此配置，学习者可以在有限的资源下模拟真实集群环境。

Hadoop完全分布式模式配置并运行wordcount

一、新建另外两台Linux虚拟机
完全分布式模式共三台虚拟机，前述伪分布式的虚拟机（bigdata128）作为master主节点，克隆另外两个虚拟机（bigdata129、bigdata131）作为slaves子节点，克隆机自带安装JDK、Hadoop及配置文件。
注：此配置是为学习所用，且电脑资源有限，因此照搬伪分布式配置，将NameNode、SecondaryNameNode、ResourceManager全部配置在主节点bigdata128上面，实际情况则相反，应该分别配置在不同的节点上面。

此处附上如何克隆虚拟机的连接：
https://blog.youkuaiyun.com/Wxp_csdn/article/details/90440328
此处附上Hadoop伪分布式模式配置并运行wordcount的连接：
https://blog.youkuaiyun.com/Wxp_csdn/article/details/90439910

二、修改以下配置文件
①slaves配置文件
三台虚拟机分别都运行命令 vi /opt/module/hadoop-2.7.3/etc/hadoop slaves
修改slaves为：
bigdata129
bigdata131
②修改\etc\hosts配置文件
三台虚拟机分别都运行命令 vi \etc hosts
注释已有内容，添加集群三台虚拟机的ip及对应主机名：
192.168.163.128 bigdata128
192.168.163.129 bigdata129
192.168.163.131 bigdata131
③修改\etc\hostname配置文件
三台虚