完全分布式hadoop集群搭建

本文详细介绍了在两台虚拟机上搭建完全分布式Hadoop集群的步骤,包括虚拟机配置、网络设置、免密登陆、JDK和Hadoop安装、环境变量配置,以及Hadoop相关配置文件的编辑。最后通过wordcount任务测试了集群的正确运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

考虑到以后还会去配置,总结记录一下这几天迈过的坑。

准备工作:

两台笔记本,其中一台主机,一台节点。(条件限制,我只有两台)
需要提前下载好的文件:
VMware-workstation-full-14.1.2-8497320.exe
ubuntu-18.04.1-desktop-amd64.iso
jdk-10.0.2_linux-x64_bin.tar.gz
hadoop-2.7.7.tar.gz

开始搭建:

Step 1    安装虚拟机

1. 分别在两台主机上安装VMware和ubuntu虚拟机。这两项安装过程就不多说了,网上教程一大堆。 
注1:为了防止后续配置会有不可逆转的错误,安装完虚拟机请先克隆一个以防万一)
注2:在安装的过程重会让你创建用户,如果你以后不想再创建专门为hadoop集群的用户,请你保证在两台主机上的虚拟机创建的用户名一致!

2. 启动两台虚拟机,分别对主机名进行重命名。

ytt@ubuntu:~$ sudo vim etc/hostname

修改后重启,

Step 2  现在让两台虚拟机之间能ping通

1. 因为不同主机上的两台虚拟机要互通,那么虚拟机网络配置要为桥接模式且IP地址设置为静态,具体见这篇文章https://blog.youkuaiyun.com/tiramisu_L/article/details/80557772
注:图片红箭头一定要按自己本机情况选择,要是选自动的话你会后悔的,终于ping通了然后莫名奇妙的吃个饭的时间就连不上了。

2.因为要以主机名的形式ping,故依次在两台虚拟机命令行输入sudo vim /etc/hosts ,修改后内容如下图所示:

3.ping通的效果图:

Step 3  配置免密登陆

先各自配:
1.安装SSH 
    sudo apt install ssh
2.生成公钥、私钥
    ssh-keygen -t rsa -P ''   此处有回车,直接过就行,下一步Overwrite 输入y   
3.把id_rsa.pub追加到授权的ke

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值