windows下hadoop的集群分布式部署

下面我们进行说明一下hadoop集群的搭建配置.

本文假设读者具有hadoop单机配置的基础，相同的部分不在重述。

以三台测试机为例搭建一个小集群,三台机器的ip分别为

192.168.200.1;192.168.200.2;192.168.200.3

cygwin,jdk的安装同windows下hadoop的单机伪分布式部署（1）,这里略过。

1、配置 hosts

在三台机子的hosts文件中加入如下记录：

192.168.200.1 hadoop1  #master namenode

192.168.200.2 hadoop2  #datanode

192.168.200.3 hadoop3  #datanode

2、配置 hadoop1上的hadoop

hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml配置同windows下hadoop的单机伪分布式部署（1），

只是将其中的主机名localhost换成hadoop1这里略过。

配置masters文件：hadoop1

配置slaves文件：hadoop2 hadoop3

3、然后将hadoop1上的hadoop文件夹拷贝到hadoop2、hadoop3机器上面；

如果jdk安装目录不同，需要更改hadoop-env.sh中java_home的配置路径。

4、配置无密码登陆

分别在三台机器上运行命令ssh-keygen，然后将hadoop1和hadoop2上的id_rsa.pub文件拷贝到hadoop1上，

并将三台机器上id_rsa.pub都导入到authorized_keys文件中，然后该authorized_keys文件拷贝到hadoop2，hadoop3上。

5、在hadoop1上先格式化namenode格式，

hadoop namenode -format

然后运行命令：start-all.sh 启动整个集群。

利用jps命令检查master和slave上的hadoop进程是否成功启动，jps命令检查master上的namenode，jobtracker进程，

检查slave上的datanode，tasktracker进程。

 

6、与myeclipes的集成同windows下hadoop的单机伪分布式部署（3）。

 

转载于:https://www.cnblogs.com/liudmblog/p/3922994.html