hadoop全分布式配置

Hadoop相关软件安装包及其版本说明如表所示。

软件	版本	安装包称
Oracle VM VirtualBox	6.1.48
ubuntu	24.04	ubuntu-24.04-desktop-amd64.iso
hadoop	3.3.5	hadoop-3.3.5.tar.gz
JDK	JDK1.8

1、更新apt

sudo apt-get update

2、SSH无密码登录节点

sudo apt-get install openssh-server
cd ~/.ssh              # 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa*           # 删除之前生成的公匙（如果已经存在）
ssh-keygen -t rsa       # 执行该命令后，遇到提示信息，一直按回车就可以

为了让Master节点能够无密码SSH登录本机，需要在Master节点上执行如下命令：接下来，在Master节点（hadoop）将上公匙传输到Slave节点（hadoop01）：

scp ~/.ssh/id_rsa.pub hadoop@从节点:/home/hadoop/
cat ./id_rsa.pub >> ./authorized_keys

完成后可以执行命令“ssh 主机名”来验证一下，可能会遇到提示信息，只要输入yes即可，测试成功后，请执行“exit”命令返回原来的终端。

ssh hadoop

3、安装Java环境:JDK1.8

sudo apt install openjdk-8-jdk
j