三台ubuntu22.0.4虚拟机搭建Hadoop+Hive集群


前言

在搭建 Hadoop 和 Hive 集群的过程中,笔者遇到了一些常见的坑。为了帮助其他同学减少踩坑的机会,特此总结这篇文章,希望能帮助大家顺利完成环境搭建。


Hadoop 集群搭建

1. 创建虚拟机

使用 VMware 创建一台至少 2 核 4 GB 内存的 Ubuntu 虚拟机,主机命名为 master,然后克隆两台虚拟机,分别命名为 slave1slave2

1.1 如何更改主机名
可视化界面更改

点击设置,选择 “关于”,然后点击 “设备名称” 进行修改。

修改主机名

终端界面更改

执行以下命令编辑主机名:

vim /etc/hostname

将文件中的内容替换为新的主机名。

1.2 修改 /etc/hosts 文件

在所有三台主机上都需要修改此文件。使用 ifconfig 查看每台机器的局域网 IP 地址,然后编辑 hosts 文件:

vim /etc/hosts

以下是修改示例,记得将 IP 地址替换为自己机器的实际 IP:

192.168.219.128 master
192.168.219.129 slave1
192.168.219.130 slave2

修改完后,重启每台主机:

reboot

2. 配置 SSH 免密登录

为三台机器配置 SSH 密钥,实现远程无密码访问。

2.1 安装 SSH 服务
sudo apt-get install openssh-server  # 安装 SSH 服务
sudo /etc/init.d/ssh restart  # 启动 SSH 服务
sudo ufw disable   # 关闭防火墙
2.2 生成 SSH 密钥并分发

在每台节点上生成 SSH 密钥,并将公钥分发到其他机器。

首先生成密钥:

ssh localhost
cd ~/.ssh         
rm ./id_rsa*                           
ssh-keygen -t rsa

然后将公钥添加到 authorized_keys 文件:

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

接着将 master 主机上的公钥传送到 slave1slave2

scp ~/.ssh/id_rsa.pub hadoop@slave1:~/
scp ~/.ssh/id_rsa.pub hadoop@slave2:~/

最后,在 slave1slave2 上执行以下命令:

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

这样就完成了免密登录配置。


3. 安装 Java 环境

sudo apt update
sudo apt install openjdk-8-jdk

4. 安装 Hadoop

可以通过 wget 下载 Hadoop,但可能速度较慢。建议在本地官网下载,然后上传到虚拟机。

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz
tar -xzvf hadoop-3.3.5.tar.gz
sudo mv hadoop-3.3.5 /usr/local/hadoop

5. 配置环境变量

vim ~/.bashrc

编辑 ~/.bashrc 文件,添加以下内容:

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

使配置生效:

source ~/.bashrc

6. 配置 Hadoop

/usr/local/hadoop/etc/hadoop/ 目录下配置以下文件:

6.1 core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ambition!6

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值