超详细部署Scala和spark

本文档详细介绍了如何在Linux环境下部署Scala和Spark。首先,创建并进入libs文件夹,上传并解压Scala,然后建立软连接。接着,部署Spark,同样解压并建立软连接。接着配置环境变量,确保使用兼容的JDK版本。在Spark的conf目录下修改配置文件。最后,启动Spark,将数据上传至HDFS,并验证Spark部署成功。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在这里插入图片描述

一、部署scala:

1.在zzti账户下创建一个libs文件夹,如:mkdir /zzti/libs
2.进入到libs文件夹下 cd /zzti/libs
3.上传sacla(rz 这里用的是Xshell),解压(tar -zxvf scala-2.12.8.tgz),并建立软连接(ln -s scala-2.12.8 scala

二、部署spark:

上传spark-2.2.3-bin-without-hadoop.tgz,解压(tar -zxvf spark-2.2.3-bin-without-hadoop.tgz),并建立软连接(ln -s spark-2.2.3-bin-without-hadoop spark

三、配置环境变量:

vim ~/.bashrc

在这里插入图片描述
(若这里的jdk版本过低的话后面的spark会报错,这里使用的jdk版本为:jdk-8u201-linux-x64.tar.gz) 传送门:链接: https://pan.baidu.com/s/1cb-fJAi871Ce9mb

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值