Spark中RDD的函数传递——实现Serializable序列化

最新推荐文章于 2023-08-01 07:46:43 发布

攻城狮Kevin

最新推荐文章于 2023-08-01 07:46:43 发布

阅读量3k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： Spark

本文链接：https://blog.youkuaiyun.com/wx1528159409/article/details/87606416

Spark 专栏收录该内容

47 篇文章

订阅专栏

本文探讨了Spark中RDD函数传递的原理，特别是在Driver程序与Executor间的序列化过程。通过实例展示了如何将自定义类封装并传递给RDD操作，确保其能够正确序列化，避免运行时错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

RDD中的函数传递，例如把重复性的代码封装成方法，需要的时候直接调用即可，体现的是面向对象的思想。

原理：

初始化工作是在Driver程序中（构建SparkContext的类）进行，但是实际执行是在Worker节点中的Executor中进行的；

当Executor端执行时需要用到Driver端封装的class对象时，就需要把Driver端的对象通过序列化传输到Executor端，这个class方法需要实现Serializable序列化。

否则会报错，class没有实现序列化

Serialization stack:
- object not serializable (class: com.kevin.spark.core.Search, value: com.kevin.spark.core.Search@aa21042)

上正确代码

package com.kevin.spark.core

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object Spark03_Search {
    def main(args: Array[String]): Unit = {
        val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("Application")

        //构建Spark上下文
        val sc: SparkContext = new SparkContext(conf)

        //创建RDD
        val rdd = sc.makeRDD(Array("abc", "bcd", "cde"))
        
        //创建需要封装的Search对象
        val s = new Search("b")
        val newRDD: RDD[String] = s.getMatch1(rdd)
        newRDD.collect().foreach(println)

        //释放资源
        sc.stop()
    }
}

//构建查询类
class Search(query: String) extends Serializable {
    //包含字符串query的数据isMatch
    def isMatch(s: String) = {
        s.contains(query)
    }

    //过滤出包含字符串的RDD
    def getMatch1(rdd: RDD[String]) = {
        rdd.filter(isMatch)
    }

    //过滤出包含字符串的RDD
    def getMatch2(rdd: RDD[String]) = {
        rdd.filter(x => x.contains(query))
    }
}

打印结果：

abc
bcd