Scala创建一个非常简单的Spark程序

最新推荐文章于 2024-03-25 09:20:08 发布

82年的哇哈哈

最新推荐文章于 2024-03-25 09:20:08 发布

阅读量531

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/weixin_42201566/article/details/85700030

spark 专栏收录该内容

10 篇文章

订阅专栏

本文介绍如何使用Spark应用程序计算文件中特定字符'a'和'b'的出现次数。通过创建SparkSession并读取本地文件，利用filter和count方法进行统计，最后输出结果。示例代码展示了从初始化SparkSession到执行计算任务的完整流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

请注意，应用程序应定义main()方法。

该程序只计算包含'a'的行数和Spark README中包含'b'的数字。请注意，您需要将YOUR_SPARK_HOME替换为安装Spark的位置。与之前使用Spark shell（初始化自己的SparkSession）的示例不同，我们将SparkSession初始化为程序的一部分。

我们调用SparkSession.builder构造[[SparkSession]]，然后设置应用程序名称，最后调用getOrCreate获取[[SparkSession]]实例。

/* SimpleApp.scala */
import org.apache.spark.sql.SparkSession

object SimpleApp {
  def main(args: Array[String]) {
    val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system
    val spark = SparkSession.builder.appName("Simple Application").getOrCreate()
    val logData = spark.read.textFile(logFile).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println(s"Lines with a: $numAs, Lines with b: $numBs")
    spark.stop()
  }
}