用scala实现spark版：单词统计案例

最新推荐文章于 2023-05-07 16:20:43 发布

CN_L

最新推荐文章于 2023-05-07 16:20:43 发布

阅读量1.4k

点赞数 1

分类专栏： spark 文章标签：大数据

本文链接：https://blog.youkuaiyun.com/lcn_Lynn/article/details/89501173

版权

spark 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了如何使用Scala编程语言来实现一个Spark的单词统计案例。由于当前平台不支持Scala代码展示，故无法提供详细代码，但主要内容将涵盖数据读取、单词分割、计数以及结果输出等关键步骤。期待后续平台对Scala的支持。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先吐槽一下csdn，目前不支持scala语言输入！！希望后续维护更新！

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

/**
  * Date:2019/4/24
  * Author:Lynn.cn.Li
  * Desc:学习scala语言开发实现spark版：词计数
  */
object WordCount {
  def main(args: Array[String]): Unit = {
    //创建SparkConf对象，这只appName和master地址
    val conf: SparkConf = new SparkConf().setAppName("LocalWordCount").setMaster("local[2]")

    // 2.创建SparkContext对象
    val context: SparkContext = new SparkContext(conf)

    // 3.读取数据文件

    val dataRDD: RDD[String] = context.textFile("g://input/1.txt")

    //4.切分文件中的每一行,返回文件所有单词
    val wordRDD: RDD[String] = dataRDD.flatMap(_.split(" "))

    // 5.每个单词计数为1：(单词，1)
    val wordAndOne: RDD[(String, Int)] = wordRDD.map((_,1))

    // 6.相同单词出现的次数累加
    val reslutRDD: RDD[(String, Int)] = wordAndOne.reduceByKey(_+_)

    //按照单词出现的次数降序排列
    val sortResultRDD: RDD[(String, Int)] = reslutRDD.sortBy(_._2)

    // 7.收集结果数据
    val finalData: Array[(String, Int)] = sortResultRDD.collect()


    // 8.打印结果数据
    finalData.foreach(x=>println(x))



    //一步链式编程简化
    val tuples: Array[(String, Int)] = context.textFile("g://input/1.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2).collect()


    for(word <- tuples){
      println(word)
    }


    // 9.关闭SparkContext
    context.stop()

  }

}