spark 伪分布式安装

本文档详细介绍了如何在Ubuntu16.04环境下进行Spark的伪分布式安装,包括Scala的安装、Spark的下载与配置,以及启动和检查进程的步骤。在安装前,需要确保已安装了与Spark版本对应的Hadoop。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

环境:Ubuntu16.04

在伪分布式安装spark之前,首先需要伪分布式安装配置Hadoop,这个就不做详细介绍了,可以参看博主的另一篇博客:

https://blog.youkuaiyun.com/lyc0424/article/details/101078489

spark下载地址:http://spark.apache.org/downloads.html

注意:安装的spark版本需要与之前安装的hadoop版本对应,由于我之前安装的hadoop版本是2.6.0,所以此处我下载的安装包需要对应hadoop2.6.0这个版本,此处我下载的是spark-2.3.4-bin-hadoop2.6.tgz

要安装旧版本的spark可以点击下图中红圈处去寻找

Scala安装:

下载地址:https://www.scala-lang.org/download/2.11.8.html

使用管理员权限解压scala

sudo tar -zxvf scala-2.11.8.tgz -C ~/install

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值