第七次实验报告Spark和Scala

第七次实验报告Spark和Scala

实验小结
学习了Spark和Scala的安装，完成了实验环境的搭建，并且学习了Spark运行架构和RDD设计原理，使用了Spark Shell命令，读取本地文件，读取HDFS文件，同时，我们还学习了Scala编程的基本语法，编写了wordcount程序，用Scala和Java编写Spark应用程序。

实验步骤

一、Scala的下载和安装
1.从官网下载安装Scala：scala-2.12.8.tgz
https://www.scala-lang.org/download/

2.将scala-2.12.8.tgz从SFTP上传到linux
put D:\Documents\scala-2.12.8.tgz

3.解压到/opt/module目录下
tar -zxvf scala-2.12.8.tgz -C /opt/module

4.将scala-2.12.8修改名字为scala
mv scala-2.12.8 scala

5.修改配置文件profile:配置环境变量
vi /etc/profile

:wq!保存退出，source /etc/profile

6.执行 scala 命令，输出以下信息，表示安装成功：

:quit退出

二、Spark的下载和安装
1.从官网下载安装Spark：spark-2.4.3-bin-hadoop2.7.tgz