spark读取PMML文件

JeitZz

已于 2022-04-18 17:02:22 修改

阅读量3.1k

点赞数 3

分类专栏： Spark 文章标签： scala spark 机器学习

于 2022-04-18 16:44:20 首次发布

本文链接：https://blog.youkuaiyun.com/JeitZz/article/details/124253450

版权

Spark 专栏收录该内容

1 篇文章

订阅专栏

该博客介绍了如何使用Python训练机器学习模型并导出为PMML文件，然后利用Apache Spark进行读取和预测。具体步骤包括创建SparkSession，加载预处理后的特征数据，加载PMML模型，构建Transformer并应用到数据帧上，最后展示预测结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用python训练模型生成PMML文件，然后用spark读取

import com.ubiai.zhyx.utils.SparkHelper
import org.apache.spark.ml.Transformer
import org.apache.spark.sql.{DataFrame, SparkSession}
import org.jpmml.evaluator.spark.TransformerBuilder
import org.jpmml.evaluator.{LoadingModelEvaluatorBuilder, ModelEvaluator}

import java.io.InputStream

object FeaturesTransformer {

  def main(args: Array[String]): Unit = {

    val spark: SparkSession = SparkHelper.getSparkSession("dev", "pmmlTest")

    val frame1: DataFrame = spark.sql("这里是经过计算的得到的特征数据")

    // pmml文件放在resources里面即可
    val pmml: InputStream = getClass.getClassLoader.getResourceAsStream("xgb-test-20220418.pmml")

    val evaluator: ModelEvaluator[_] = new LoadingModelEvaluatorBuilder().load(pmml).build()

    val pmmlTransformer: Transformer = new TransformerBuilder(evaluator)
//      .withTargetCols
      .withOutputCols
      .exploded(true)
      .build()
    // Create the transformer
    val frame: DataFrame = pmmlTransformer.transform(frame1)

    frame.select("vid", "date", "predicted_score").show()

  }
}