如何做Spark 版本兼容

我们知道Spark2.0 ，Spark 1.6还有Spark 1.5 三者之间版本是不兼容的，尤其是一些内部API变化比较大。如果你的系统使用了不少底层的API,那么这篇文章或许对你有帮助。我们介绍的兼容相关一些技巧，主要包括动态编译以及反射等方式，也用到了Scala的一些语言特性。

案例

在Spark 1.6 时，大部分机器学习相关的类使用的向量还是

org.apache.spark.mllib.linalg.Vector

而到2.0后，已经基本都变更成

org.apache.spark.ml.linalg.Vector

同理对应的Vectors object 也是。这就造成了一个比较大的困难，比如下面的代码就很难做到兼容了，切换Spark就无法通过编译：

//定义一个函数，将一个字符串转化为Vector
val t = udf { (features: String) =>

      if (!features.contains(":")) {
        val v = features.split(",|\\s+").map(_.toDouble)
        Vectors.dense(v)
      } else {
        val v = features.split(",|\\s+").map(_.split(":")).map(f => (f(0).toInt, f(1).toDouble))
        Vectors.sparse(vectorSize, v)
      }

    }

//Dataframe转化为只有label 和 features列。
training.select(
      col("label") cast (org.apache.spark.sql.types.DoubleType),
      t(col("features")) as "features"
)

无论你怎么写，都没办法在Spark 1.6 和 Spark 2.0 同时表现正常，总是会报错的，因为 Vector,Vectors等类的包名都发生了变化。

在Spark中，你可以通过 org.apache.spark.SPARK_VERSION 获取Spark的版本。
我们定义一个类：

object SparkCompatibility {  
def sparkVersion = {     org.apache.spark.SPARK_VERSION  }

动态编译

Scala 是可以很方便的动态源码的，对于而且代码也很简单，大体如下：

object ScalaSourceCodeCompiler {


  def compileCode(code: String): Any = {
    import scala.reflect.runtime.universe._
    val cm = runtimeMirror(Utils.getContextOrSparkClassLoader)
    val toolbox = cm.mkToolBox()
    val tree = toolbox.parse(code)
    val ref = toolbox.compile(tree)()
    ref
  }

这种效果和Spark Shell里是类似的，ref 是里面的一个返回值。正常情况，你可以写两份代码，一份Spark 1.6. 一份Spark 2.0 ,然后在运行时决定编译那份代码。然而这种方式有一个缺点，尤其是在Spark中很难避免，如果compileCode 返回的值ref是需要被序列化到Executor的，则反序列化会导致问题，因为里面生成的一些匿名类在Executor中并不存在。除此之外，这种方法是实现兼容最有效的办法。

原先我考虑过使用Spark 内部的CodeGen代码，大致如下：

    def compileCode3[T](codeBody: String, references: Array[Any]): T = {
      val code = CodeFormatter.stripOverlappingComments(
        new CodeAndComment(codeBody, Map()))
  
      val c = CodeGenerator.compile(code)
      c.generate(references).asInstanceOf[T]
    }

不幸的是，这个API本身也在变化，譬如CodeAndComment就是只有2.0才有的。

分离项目方式

将API有变化的部分，独立出来。比如前面我们提到的，对于Vector相关的API,1.6 和2.0 是不同的，那么我们可以剥离出两个工程，每个工程适配对应的版本，然后发布jar包，在Maven中根据Profile机制，根据Spark版本引入不同的适配包。这种方式相对来说比较繁琐。不过目前StreamingPro采用这个方案同时兼容spark 2.2.0/1.6.0

反射的方法

下面是我用来解决Vector 包名变化的代码：

def vectorizeByReflect(vectorSize: Int) = {

    val clzzName =
      if (org.apache.spark.SPARK_VERSION.startsWith("2")) {
        "org.apache.spark.ml.linalg.Vectors"
      } else {
        "org.apache.spark.mllib.linalg.Vectors"
      }

    val reslutClzzName = if (org.apache.spark.SPARK_VERSION.startsWith("2")) {
      "org.apache.spark.ml.linalg.Vector"
    } else {
      "org.apache.spark.mllib.linalg.Vector"
    }
    def dense(v: Array[Double]) = {
      Class.forName(clzzName).getMethod("dense", classOf[Array[Double]]).invoke(null, v)
    }

    def sparse(vectorSize: Int, v: Array[(Int, Double)]) = {
      val method = Class.forName(clzzName).getMethod("sparse", classOf[Int], classOf[Seq[(Int, Double)]])
      val vs: Integer = vectorSize
      method.invoke(null, vs, v.toSeq)
    }

    val t = functions2.udf(reslutClzzName, (features: String) => {
      if (!features.contains(":")) {
        val v = features.split(",|\\s+").map(_.toDouble)
        dense(v)
      } else {
        val v = features.split(",|\\s+").map(_.split(":")).map(f => (f(0).toInt, f(1).toDouble))
        sparse(vectorSize, v)
      }
    })

    t
  }

我们根据不同版本，动态加载对应的类，然后通过反射来调用方法，从而避免编译时错误。然而通过反射，就无法使用类似的代码了：

val t = udf {
 .....
}

因为 udf 函数要求能够推导出输入和返回值是什么。而如果通过反射，因为返回值我们无法确定(有可能是org.apache.spark.ml.linalg.Vector，也有可能是org.apache.spark.mllib.linalg.Vector)，这个时候就无法通过编译了。于是我们改写了udf的是实现，然而这个实现也遇到了挫折，因为里面用到比如UserDefinedFunction类，已经在不同的包里面了，我们依然通过放射的方案解决：

def udf[RT: TypeTag, A1: TypeTag](className: String, f: Function1[A1, RT]): Any = {

    if (SparkCompatibility.sparkVersion.startsWith("2")) {
      val inputTypes = Try(ScalaReflection.schemaFor(typeTag[A1]).dataType :: Nil).toOption
      val dufReg = Class.forName("org.apache.spark.sql.types.UDTRegistration").
        getMethod("getUDTFor", classOf[String]).invoke(null, className).asInstanceOf[Option[Class[_]]]
      val udt = dufReg.get.newInstance().asInstanceOf[UserDefinedType[_]]
      Class.forName("org.apache.spark.sql.expressions.UserDefinedFunction").
        getConstructor(classOf[AnyRef], classOf[DataType], classOf[Option[Seq[DataType]]]).
        newInstance(f, Schema(udt, nullable = true).dataType, inputTypes)
    } else {
      val inputTypes = Try(ScalaReflection.schemaFor(typeTag[A1]).dataType :: Nil).toOption.get.toSeq
      val udt = org.apache.spark.util.Utils.classForName(className)
        .getAnnotation(classOf[SQLUserDefinedType]).udt().newInstance().asInstanceOf[UserDefinedType[_]]
      Class.forName("org.apache.spark.sql.UserDefinedFunction").
        getConstructor(classOf[AnyRef], classOf[DataType], classOf[Seq[DataType]]).
        newInstance(f, Schema(udt, nullable = true).dataType, inputTypes)

    }
  }

很丑陋，对不对。这里还有一个问题，虽然udf返回的都是UserDefinedFunction对象，然而他们也是版本不兼容的，也就是我们无法让编译器确定返回的值是什么。我们使用了另外一个Scala语法的技巧，如下：

val t = functions2.udf(reslutClzzName, (features: String) => {
      if (!features.contains(":")) {
        val v = features.split(",|\\s+").map(_.toDouble)
        dense(v)
      } else {
        val v = features.split(",|\\s+").map(_.split(":")).map(f => (f(0).toInt, f(1).toDouble))
        sparse(vectorSize, v)
      }
    }).asInstanceOf[{def apply(exprs: Column*): Column}]

核心在最后一行，我们声称返回的对象满足这个签名：

{def apply(exprs: Column*): Column}

这个时候，就可以直接使用了：

training.select(  
col("label") cast (org.apache.spark.sql.types.DoubleType),  
t(col("features")) as "features")

总结

Spark 1.6 和2.0 内部API变化很大，然而对普通用户的API兼容性还是不错的。做版本兼容似乎并不是一件容易的事情。所以当使用StreamingPro做机器学习相关工作时，我只兼容了Spark 1.6,2.0,而抛弃了 1.5版本。但是对于普通的ETL以及流式计算，三个版本都是支持的。