RDD 辅助功能 implicts

firefaith

于 2018-11-02 17:33:06 发布

阅读量277

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark scala

本文链接：https://blog.youkuaiyun.com/firefaith/article/details/83658736

scala 同时被 2 个专栏收录

3 篇文章

订阅专栏

spark

2 篇文章

订阅专栏

本文探讨了Spark中RDD的隐式转换方法，通过定义隐式类来增强RDD的操作能力，例如实现partitionBy功能，将数据集按条件分为两部分。同时，展示了如何为DataFrame添加隐式转换以增加withGreeting和withFarewell方法，用于数据列的添加。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

object RDDImplict{
implicit class RDDOps[T](rdd: RDD[T]) {
  def partitionBy(f: T => Boolean): (RDD[T], RDD[T]) = {
    val passes = rdd.filter(f)
    val fails = rdd.filter(e => !f(e)) // Spark doesn't have filterNot
    (passes, fails)
  }
}}
import RDDImplict._
val (matches, matchesNot) = sc.parallelize(1 to 100).cache().partitionBy(_ % 2 == 0)



object BadImplicit {

  implicit class DataFrameTransforms(df: DataFrame) {
    def withGreeting(): DataFrame = {
      df.withColumn("greeting", lit("hello world"))
    }
    def withFarewell(): DataFrame = {
      df.withColumn("farewell", lit("goodbye"))
    }
  }
}


import BadImplicit._
val df = Seq(
  "funny",
  "person"
).toDF("something")
val hiDf = df.withGreeting().withFarewell()