使用ReduceByKey在Spark中进行词频统计_统计所有词出现的次数 reducebykey-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_31412425/article/details/132151508

本文介绍了如何使用Spark3.2.0和Scala2.12在本地开发环境中实现WordCount示例，通过`reduceByKey`函数计算单词出现次数，展示了其工作原理和操作过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark采用Local模式运行，Spark版本3.2.0，Scala版本2.12，集成idea开发环境。

实验代码

import org.apache.spark.{SparkConf, SparkContext}

object ReduceByKey {

  def main(args: Array[String]): Unit = {
    // 创建 SparkConf 并设置相关配置
    val conf = new SparkConf().setAppName("WordCountExample").setMaster("local[*]")

    // 创建 SparkContext
    val sc = new SparkContext(conf)

    // 定义要计数的单词列表
    val wordList = List("hello", "world", "hello", "spark", "world", "spark", "hello")

    // 将列表转换为RDD
    val rdd = sc.parallelize(wordList)

    rdd.foreach(v => println(v))

    // 对单词进行映射计数,相同的键进行累加
    val rdd2 = rdd.map(v => (v, 1)).reduceByKey(_ + _)

    // 打印单词计数结果
    rdd2.foreach(println)

    // 关闭 SparkContext
    sc.stop()
  }
}

在执行 reduceByKey(_ + _) 这一步后，生成的 RDD 将包含每个单词及其对应的累加值，数据结构类似于 (单词, 累加值)。

在上下文中，_ + _ 表示一个匿名函数，用于对两个相同类型的值进行相加操作。在这里，这两个值是指 reduceByKey 函数对于相同键的两个值。具体来说：

第一个 _ 表示相同键的第一个值。
第二个 _ 表示相同键的第二个值。

在这个例子中，键是单词，而值是累加的次数。所以 _ + _ 表示将相同键的值（即累加的次数）相加，以得到该键对应的总累加值。

实验结果

hello
hello
spark
world
world
spark
hello

(spark,2)
(hello,3)
(world,2)