第七次实验报告Spark和Scala
实验小结
学习了Spark和Scala的安装,完成了实验环境的搭建,并且学习了Spark运行架构和RDD设计原理,使用了Spark Shell命令,读取本地文件,读取HDFS文件,同时,我们还学习了Scala编程的基本语法,编写了wordcount程序,用Scala和Java编写Spark应用程序。
实验步骤
一、Scala的下载和安装
1.从官网下载安装Scala:scala-2.12.8.tgz
https://www.scala-lang.org/download/
2.将scala-2.12.8.tgz从SFTP上传到linux
put D:\Documents\scala-2.12.8.tgz
3.解压到/opt/module目录下
tar -zxvf scala-2.12.8.tgz -C /opt/module
4.将scala-2.12.8修改名字为scala
mv scala-2.12.8 scala
5.修改配置文件profile:配置环境变量
vi /etc/profile
:wq!保存退出,source /etc/profile
6.执行 scala 命令,输出以下信息,表示安装成功:
:quit退出
二、Spark的下载和安装
1.从官网下载安装Spark:spark-2.4.3-bin-hadoop2.7.tgz