hadoop学习（三）hadoop集群从windows移植到linux中问题与技巧

最新推荐文章于 2021-09-23 19:58:07 发布

原创

最新推荐文章于 2021-09-23 19:58:07 发布 · 2.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#集群 #linux #移植 #数据分析

本文档详细记录了将Hadoop集群从Windows迁移到Linux过程中遇到的困难，主要包括集群间SSH互连问题的解决和配置文件调整。在解决SSH互联问题时，强调了hosts文件的重要性，指出更换网络时只需更新该文件。此外，还提及了网络服务的重启步骤，以确保集群配置的正确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在开始讲Map-Reduce数据分析之前，首先讲解一下，这两天遇到的问题，自己在这上面确实是耽误了很多时间：希望为自己或后来者提供经验。

（一）昨天在集群中测试，由于把集群全部移植到linux下，解决了virtualbox虚拟机的问题。接下来出现的问题就是：集群之间互联的问题，四台主机之间ssh互连。

在 hadoop学习（一）hadoop-1.2.1伪分布式配置及遇到的问题谈到集群之间通过ssh免密码连接。早前，我们利用小度wifi新建一个局域网，我们几台机器都连接到这个局域网，分节点配置的静态IP，也是根据这个局域网的IP，设置字段。如：小度wifi分享出的局域网字段在192.168.123.* 字段，自己在每台机器设置静态IP的时候，也要设置这个字段。下面hosts文件就是我们四台主机的IP。hosts用来主机各主机

现在问题就来了：如果我们更换局域网，或者是不在本地测试，那么怎么共享局域网。其实这个问题，也是自一开始就困扰着我们。昨天同组人在别的wifi下，测试成功，解决方法：你目的是要几台分节点之间可以互连。每次更换网络，只需要，更改host文件。更改在/etc目录下的hosts文件。

hosts文件：

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
192.168.123.10 cluster1
192.168.123.11 cluster2
192.168.123.12 cluster3
192.168.123.13 cluster4

每次更换局域网，把每一天机器的ip，配置到hosts文件中，然后通过ssh测试机器之间是否可以连通。目的就是互通，只有互通hadoop主节点，在分配任务的时候才是正常的。

scp ：远程拷贝文件及文件夹

1、拷贝本机/home/zhangzhen/input整个目录至远程主机192.168.123.13的/home/tom/目录下

sudo scp -r /home/zhangzhen/input tom@192.168.123.13:/home