spark转换算子求交集SCALA实现（insertsection）

最新推荐文章于 2024-04-22 09:52:03 发布

wjn19921104

最新推荐文章于 2024-04-22 09:52:03 发布

阅读量432

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/wjn19921104/article/details/80230403

本文介绍了一个使用Apache Spark进行集合交集操作的例子。通过Scala编程语言实现，演示了如何创建两个RDD并找出它们之间的共同元素。适用于初学者了解Spark的基本转换操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package day06
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object MyTransformation_scala_3 {
  def myInsertsection(sc: SparkContext): String = {
    val RDD1 = sc.parallelize(List("aa", "bb", "cc"))
    val RDD2 = sc.parallelize(List("aa", "cc"))
    val insertsectionRDD: RDD[(String)] = RDD1.intersection(RDD2)
    insertsectionRDD.collect().toList.toString()
  }
  def main(args: Array[String]) {
    val conf: SparkConf = new SparkConf().setMaster("local").setAppName("MyTransformation_scala_3")
    var sc: SparkContext = new SparkContext(conf)
    var result: String = ""
    result = myInsertsection(sc)
    println(result)
    sc.stop()
  }
}