spark rdd countByValue

最新推荐文章于 2023-05-24 17:17:52 发布

lovemelovemycode

最新推荐文章于 2023-05-24 17:17:52 发布

阅读量5.1k

点赞数

分类专栏：大数据文章标签： spark countByValue

本文链接：https://blog.youkuaiyun.com/hi_1234567/article/details/42835615

版权

大数据专栏收录该内容

21 篇文章

订阅专栏

本文通过使用Apache Spark的countByValue方法，展示了如何统计集合中各个元素出现的次数。示例代码采用Scala编写，适用于初学者理解Spark的基本操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package com.latrobe.spark

import org.apache.spark.{SparkContext, SparkConf}

/**
 * Created by spark on 15-1-18.
 * 统计出集合中每个元素的个数
 */
object CountByValue {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("spark-demo").setMaster("local")
    val sc = new SparkContext(conf)

    val xx = sc.parallelize(List(1,1,1,1,2,2,3,6,5,9))

    //打印结果：Map(2 -> 2, 5 -> 1, 1 -> 4, 9 -> 1, 3 -> 1, 6 -> 1)
    println(xx.countByValue())
  }

}