这篇博客详细介绍了如何在Linux环境下安装Scala和配置Spark，包括文件解压、环境变量设置、配置文件修改等步骤。接着，博主展示了如何编写WordCount程序，包括在Maven项目中配置pom.xml、修改源代码目录、打包jar文件，以及通过spark-submit提交应用到Spark集群进行执行。
实验步骤：
1、Scala安装与环境配置
①Scala文件解压、重命名
输入：tar -xvf scala-2.12.2.tgz
然后移动到/opt/scala 里面，重命名为
输入：
mv scala-2.12.2 /opt/scala
mv scala-2.12.2 scala2.12
②环境配置
编辑 /etc/profile 文件，输入:
输入source /etc/profile使配置生效
输入 scala -version 查看是否安装成功
2，Spark配置
①Spark文件解压、重命名
输入：tar -xvf spark-1.6.3-bin-hadoop2.4-without-hive.tgz
然后移动到/opt/spark 里面，重命名
mv spark-1.6.3-bin-hadoop2.4-without-hive /opt/spark
mv spark-1.6.3-bin-hadoop2.4-without-hive spark1.6-hadoop2.4-hive
②环境配置
最低0.47元/天 解锁文章
扫一扫
864
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
