第七次实验报告Spark和Scala

本次实验详细介绍了如何在Linux环境下安装Scala和Spark,包括下载、解压、配置环境变量等步骤。此外,还通过Spark Shell实践了读取本地和HDFS文件,以及实现wordcount程序,展示了Scala编程在Spark上的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

第七次实验报告Spark和Scala

实验小结
学习了Spark和Scala的安装,完成了实验环境的搭建,并且学习了Spark运行架构和RDD设计原理,使用了Spark Shell命令,读取本地文件,读取HDFS文件,同时,我们还学习了Scala编程的基本语法,编写了wordcount程序,用Scala和Java编写Spark应用程序。

实验步骤

一、Scala的下载和安装
1.从官网下载安装Scala:scala-2.12.8.tgz
https://www.scala-lang.org/download/

2.将scala-2.12.8.tgz从SFTP上传到linux
put D:\Documents\scala-2.12.8.tgz
在这里插入图片描述

3.解压到/opt/module目录下
tar -zxvf scala-2.12.8.tgz -C /opt/module
在这里插入图片描述

4.将scala-2.12.8修改名字为scala
mv scala-2.12.8 scala
在这里插入图片描述

5.修改配置文件profile:配置环境变量
vi /etc/profile
在这里插入图片描述
:wq!保存退出,source /etc/profile

6.执行 scala 命令,输出以下信息,表示安装成功:
在这里插入图片描述
:quit退出

二、Spark的下载和安装
1.从官网下载安装Spark:spark-2.4.3-bin-hadoop2.7.tgz

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值