03-Ubuntu18.04+Hadoop3.1.3安装配置（完全分布式）

原创

已于 2023-09-24 19:19:49 修改 · 609 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据 #分布式

于 2023-09-24 19:19:25 首次发布

本文详细指导了在Ubuntu18.04系统上安装Hadoop3.1.3，包括设置主机名、配置hosts、SSH免密登录、安装JDK和Hadoop、环境变量配置，以及分布式集群的搭建和测试过程。

说明

我这里实际上是把jdk和hadoop安装在了/home/wolf/opt/app/中，而非正常的/opt/app/中，所以路径可能会有点怪，所以看这篇文章的时候要时刻注意路径问题，我也非常建议把软件放在/opt/app/中（记得提前chown把权限给好），这样比较符合市面上大多数的教程的路径。

参考链接：Ububtu18.04安装Hadoop3.1.3全分布集群-持续更新问题集-腾讯云开发者社区-腾讯云

1.设置主机名

# 临时设置hostname
sudo hostname master
# 永久设置hostname
sudo vim /etc/hostname
# 填写hostname，这里填写master

重启虚拟机即应用成功，对于其他的虚拟机可以填写hostname为slave1、slave2......

2.配置/etc/hosts文件

sudo vim /etc/hosts

配置成类似这样，注意修改ip地址。

3.SSH免密登录

在主机输入

ssh master

进行ssh登录，这时还需要密码登录。

设置SSH免密登录

exit                           # 退出刚才的 ssh localhost
# 若没有该目录，请先执行一次ssh localhost
cd ~/.ssh/                     
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权方法1
# 加入授权方法2 或这种方法
ssh-copy-id -i .ssh/id_rsa.pub  wolf@192.168.199.129

4.使用SSH工具把Hadoop3.1.3和jdk8的压缩包上传到虚拟机上

我用的是finalshell，其他的各种shell或者putty都可以，这里就不多赘述了。压缩包可以去参考链接里下载。

5.安装jdk

先在主目录中（注：关于安装目录的问题，见“说明”）

mkdir opt/app/jdk

解压下载的jdk文件到 /home/用户名/opt/app/jdk目录下

tar zxf jdk-8u162-linux-x64.tar.gz -C ~/opt/app/jdk

在主目录

sudo vim .bashrc

在最后插入

export JAVA_HOME=/home/用户名/opt/app/jdk
export JRE_HOME=/home/用户名/opt/app/jdk/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

重启虚拟机，在终端输入

java -version

6.安装Hadoop

同理，在opt/app/中创建一个hadoop目录

mkdir /opt/app/hadoop

tar -zxf hadoop-3.1.3.tar.gz -C ~/opt/app/hadoop

在主目录

sudo vim .bashrc

在最后插入

export HADOOP_HOME=/home/用户名/opt/app/hadoop
ex

最低0.47元/天解锁文章