ubuntu下Hadoop以及Spark的伪分布式安装:一

本文详细指导了在Ubuntu系统上安装JDK11、Scala2.13.13、Hadoop3.3.6和Spark3.5.1的步骤,包括版本兼容性、安装顺序、系统更新、用户权限设置以及SSH配置,确保无密登录以优化Hadoop环境。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1 准备安装之前:

1.1 安装前说明:

很多初学者在安装的时候会碰到各种各样的问题,尤其各种版本的搭配问题。所以特意做一个初步安装的引导,希望大家都能一次调试出来。

经过测试,jdk11 + scala2.13.13 + hadoop3.3.6+spark3.5.1,这是暂时来说scalsa2能支持的最完美的搭配。Hadoop能支持到的java最完美的最后版本为jdk11,后面的版本也可以使用,但是java 11后面的版本去掉了javax.activation,导致无法浏览服务端的文件夹以及文件。

 1.2 安装顺序:

  1. 安装JDK(无需安装Jre,安装也没有影响)
  2. 安装Scala
  3. 安装ssh,并设置免密登录
  4. 安装Hadoop
  5. 配置YARN
  6. 安装Spark

2 安装前准备:

2.1 更新系统,确保ubuntu为最新版

sudo apt update

sudo apt upgrade

注:

  1. 旧版使用apt-get命令,新版也可以使用;
  2. 所有的默认安装目录都在/usr/local下;
  3. 下面凡是出现localhost的地方,都可以用具体ip地址或主机名替代。

2.2 为安装Hadoop做准备

2.2.1建立hadoop用户,并给出默认shell

sudo useradd -m hadoop -s /bin/bash

#等效命令

adduser hadoop

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值