Spark PairRDDFunctions flatMapValues

最新推荐文章于 2023-04-11 17:15:38 发布

原创最新推荐文章于 2023-04-11 17:15:38 发布 · 2.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #flatMapValues

大数据专栏收录该内容

21 篇文章

订阅专栏

本文探讨了Scala语言在大数据处理领域的应用，通过使用Spark框架实现数据的并行处理和分布式计算，展示了如何高效地处理大规模数据集，并提供了一个实际的案例分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package com.latrobe.spark

import org.apache.spark.{SparkContext, SparkConf}

/**
 * Created by spark on 15-1-18.
 */
object FlatMapValues {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("spark-demo").setMaster("local")
    val sc = new SparkContext(conf)


    import org.apache.spark.SparkContext._
    val a = sc.parallelize(List("dog", "tiger", "lion", "cat", "panther", "eagle") , 2)
    //b会是这个样子：(3,dog)(5,tiger)(4,lion)(3,cat)(7,panther)(5,eagle)
    val b = a.map(x => (x.length , x))

    /**
     * 1 针对b的所有Value执行"x" + _ + "x"，例如 dog => xdogx
     * 2 将1计算获得的Value压扁，Key保持不变。例如 (3,xdogx) => (3,x),(3,d),(3,o),(3,g),(3,x)
     * 3 flatMapValues 是PairRDDFunctions中的一个函数，所以前面需要隐式转换
     */
    val c = b.flatMapValues("x" + _ + "x")
    c.collect().foreach(print)
  }
}