基于WindowsXP环境的Hadoop完全分布式环境的搭建

本文详细介绍了如何在Windows XP环境下配置一个由三台虚拟机组成的Hadoop完全分布式集群。步骤包括:安装XP操作系统,配置IP地址和网关,安装CYGWIN,下载并配置Hadoop及JDK,设置SSH服务,配置Hadoop相关文件,并启动Hadoop服务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.在虚拟机中安装安装三个纯净的XP SP3操作系统,

2.在各个虚拟机中根据自己的需要配置IP地址和网关,这里我们设置的IP地址分别为192.168.11.188192.168.11.190192.168.11.190。子网掩码皆为255.255.255.0,默认网关为192.168.11.9

3.下载安装CYGWIN软件,选择在线安装或者下载到本地安装,建议下载到本地安装,因为在线安装会出现很多问题,选择Net Category下的包在上篇文章里已经提出,在这里不再重复。

4.在Hadoop官方网站上下载Hadoop软件,加压后给每个机器安装配置,给每个机器安装配置jdk1.6配置环境变量和启动ssh服务和上文相同,这里就不再重复

5以上步骤是和上文基本相似,就是多了配置IP网关等内容,配置完后读者可以ping下三台机器,注意虚拟机的网络连接方式一定要设为桥接,这样三台机器间才可以正常通信,请读者注意。

6.选中一台机子作为主节点,在master机器cygwin的控制台中输入如下命令:
  cd ~/.ssh
   chmod 600 authorized_keys
  scp authorized_keys  Administrator@192.168.1.141:~/.ssh/ authorized_keys
scp authorized_keys  Administrator@192.168.1.142:~/.ssh/ authorized_keys

使得建立SSH服务服务,同时确保主机能够登录字节点。

7配置Hadoop文件,通过默认文件复制的方法改变配置文件的方法上篇文章已经讲述这里不再重复,下面是具体改变内容的变更,请读者注意,更改Hadoop安装路径/conf/hadoop-env.sh文件中的Jdk安装目录(三台机器都需配置这点和上篇文章相似),更改hadoop安装路径conf/hadoop/mastersslavers两个文件,分别加入主节点和从节点的ip地址在文件中(只需要主节点配置),配hadoop的安装路径/conf/hadoop/core-site.xmlhdfs-site.xmlmaper-site.xml三个文件(三台机器均需配置),其中core-site.xmlfs.default.name值设置为hdfs://192.168.11.188即可,hdfs-site,xmldfs.replication的值设置为1即可,maper-site.xmlmaperd.job,tracker设置为192.168.11.188.9001即可,这样保存过后,hadoop集群的配置工作完成。

8.下面就可以在主节点上启动Hadoop上启动Hadoop,下面的步骤和上篇文章相似,这里就不再重复,区别就是在用ps -ef命令查看java进程是显示的是在主节点上是启动了三个进程,以前启动的另外两个进程在子节点上可以观察到。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值