1 准备安装之前:
1.1 安装前说明:
很多初学者在安装的时候会碰到各种各样的问题,尤其各种版本的搭配问题。所以特意做一个初步安装的引导,希望大家都能一次调试出来。
经过测试,jdk11 + scala2.13.13 + hadoop3.3.6+spark3.5.1,这是暂时来说scalsa2能支持的最完美的搭配。Hadoop能支持到的java最完美的最后版本为jdk11,后面的版本也可以使用,但是java 11后面的版本去掉了javax.activation,导致无法浏览服务端的文件夹以及文件。
1.2 安装顺序:
- 安装JDK(无需安装Jre,安装也没有影响)
- 安装Scala
- 安装ssh,并设置免密登录
- 安装Hadoop
- 配置YARN
- 安装Spark
2 安装前准备:
2.1 更新系统,确保ubuntu为最新版
sudo apt update
sudo apt upgrade
注:
- 旧版使用apt-get命令,新版也可以使用;
- 所有的默认安装目录都在/usr/local下;
- 下面凡是出现localhost的地方,都可以用具体ip地址或主机名替代。
2.2 为安装Hadoop做准备
2.2.1建立hadoop用户,并给出默认shell
sudo useradd -m hadoop -s /bin/bash
#等效命令
adduser hadoop