本文介绍了如何在Linux环境下基于Spark运行Scala程序。首先，通过sublime text编辑SimpleApp.scala示例程序，该程序分析README.md中'a'和'b'的出现行数。接着，创建simple.sbt文件添加Spark库依赖，并利用sbt工具打包工程生成jar文件。安装sbt后，使用`sbt package`命令打包，然后通过`spark-submit`命令运行。对于MLlib的例程，可以通过命令行直接输入到spark-shell中执行。
在前面搭建好scala和spark的开发环境之后，迫不及待地想基于spark运行一下scala程序，于是找到了spark官方网站的链接（http://spark.apache.org/docs/latest/quick-start.html），介绍如何运行scala程序。现将具体的操作步骤详细介绍如下。
链接中给出了一个SimpleApp.scala的例程，我们通过比较各种编辑器发现sublime text这个编辑器对scala语言有高亮功能，易于代码阅读，如下图所示。
此段程序主要功能通过两个job并行分析spark自带的README.md文件中包含a和b字母分别有多少行。
另外我们还需要建立一个simple.sbt文件，来加入spark库依赖，scala程序执行的时候便可以调用spark库。
建立好simple.sbt文件后，由于需要对
最低0.47元/天 解锁文章
扫一扫
2253
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
