spark rddToPairRDDFunctions countByKey

最新推荐文章于 2024-08-15 15:51:42 发布

lovemelovemycode

最新推荐文章于 2024-08-15 15:51:42 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： spark countByKey

本文链接：https://blog.youkuaiyun.com/hi_1234567/article/details/42835561

大数据专栏收录该内容

21 篇文章

订阅专栏

本文介绍了一个使用Apache Spark进行数据处理的例子，演示了如何利用Spark的countByKey方法来统计不同键值出现的次数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package com.latrobe.spark

import org.apache.spark.{SparkContext, SparkConf}

/**
 * Created by spark on 15-1-18.
 * 计算出每个key对应的value的数量
 */
object CountByKey {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("spark-demo").setMaster("local")
    val sc = new SparkContext(conf)

    /**
     * 引入implicit def rddToPairRDDFunctions，目的是使用countByKey方法
     */
    import org.apache.spark.SparkContext._

    val c = sc.parallelize(List((1,"java"),(2,"c"),(3,"c++"),(3,"iOS")))

    //打印结果Map(2 -> 1, 1 -> 1, 3 -> 2)
    println(c.countByKey())
  }
}