spark中pmml文件创建方式

最新推荐文章于 2022-04-18 16:44:20 发布
最新推荐文章于 2022-04-18 16:44:20 发布
阅读量443 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u011047955/article/details/89330541
版权
本文介绍了一种将PMML对象序列化并保存到本地文件的方法，使用了JAXBUtil工具类实现。此方法接受PMML对象和文件路径作为参数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

def saveToLocalFile(pmml:PMML,path:String): Unit ={
JAXBUtil.marshalPMML(pmml, new StreamResult(path))
}

spark-ml和jpmml-sparkml生成pmml模型过程种遇到的问题
NOT_GUY的博客
08-25 5309
需求：利用pmml(预测模型标记语言)来实现跨平台的机器学习模型部署。 pmml简介：参考链接1 如何将模型生成pmml格式：参考链接3 1、成功的写法：将数据的各种transform和模型全部都放入pipeline中，可以生成pmml。 代码如下： import org.apache.spark.ml.linalg.Vectors import org.apache.spark...
java加载pmml模型文件报错_PMML总结与思考PMML模型生成和加载示例
weixin_29672983的博客
02-26 1303
在机器学习用于产品的时候，我们经常会遇到跨平台的问题。比如我们用Python基于一系列的机器学习库训练了一个模型，但是有时候其他的产品和项目想把这个模型集成进去，但是这些产品很多只支持某些特定的生产环境比如Java，为了上一个机器学习模型去大动干戈修改环境配置很不划算，此时我们就可以考虑用预测模型标记语言(Predictive Model Markup Language,以下简称PMML)来实现跨...
pmml4s-spark：Spark作为SparkML Transformer的PMML评分库
02-05
PMML4S火花 PMML4S-Spark是Spark作为SparkML Transformer的PMML（预测模型标记语言）评分库。 产品特点 PMML4S-Spark是PMML4S星火包装，你可以看到了解详情。 先决条件 火花> = 2.0.0 安装 可从Maven Central获得PMML4S-Spark 。 最新发布的： SBT用户 libraryDependencies + = " org.pmml4s " %% " pmml4s-spark " % " 0.9.9 " Maven用户 < dependency> < groupId>org.pmml4s</ group
spark读取PMML文件
JeitZz的博客
04-18 3144
使用python训练模型生成PMML文件，然后用spark读取 package com.ubiai.zhyx.spark import com.ubiai.zhyx.utils.SparkHelper import org.apache.spark.ml.Transformer import org.apache.spark.sql.{DataFrame, SparkSession} import org.jpmml.evaluator.spark.TransformerBuilder import or
Spark 加载PMML格式模型在线预测
阿生
09-06 2682
Spark 加载PMML格式模型在线预测 Spark 加载PMML格式的模型文件 目前spark自身是不支持这个pmml类型模型的，想要使用它可以采用github上面的插件jpmml-evaluator-spark github地址 但是它上面的东西描述的优点抽象，使用的时候可能遇到很多的坑，比如 使用的时候导入依赖 <dependency> <groupId>or...
Spark整合PMML的实践
DCHAO的博客
08-22 2793
Spark整合pmml的jpmml-evaluator-spark包的使用以及在本地和集群上运行遇到的问题
机器学习训练好的模型的使用_使用PMML部署机器学习模型
weixin_39851457的博客
11-22 476
目录PMML简介PMML标准介绍PMML优点PMML开源类库PMML演示PMML缺点总结参考PMML简介预测模型标记语言PMML（Predictive Model Markup Language）是一套与平台和环境无关的模型表示语言，是目前表示机器学习模型的实际标准。从2001年发布的PMML1.1，到2019年最新4.4，PMML标准已经由最初的6个模型扩展到了17个模型，并且提供了挖掘模型（M...
实现SparkML Transformer的PMML评分库 - PMML4S-Spark
PMML4S-Spark利用了Spark MLlib（机器学习库），作为一个Transformer，它可以集成到Spark ML Pipelines中。这意味着数据科学家可以利用已有的PMML模型，结合Spark的强大数据处理能力，轻松地在大数据集上应用预测...
python模型保存与恢复 pmml_将python训练好的模型保存为pmml文件供java调用
weixin_39696518的博客
12-11 1106
1、PMLL概述用python训练好的机器学习模型如果上线部署，被java调用，可以将模型保存为pmml文件，那么什么是pmml呢？PMML是数据挖掘的一种通用的规范，它用统一的XML格式来描述我们生成的机器学习模型。这样无论你的模型是sklearn,R还是Spark MLlib生成的，都可以将其转化为标准的XML格式来存储。当我们需要将这个PMML的模型用于部署的时候，可以使用目标环境的解析PM...
java加载pmml模型文件报错_用PMML实现机器学习模型的跨平台上线
weixin_31854867的博客
02-26 507
在机器学习用于产品的时候，我们经常会遇到跨平台的问题。比如我们用Python基于一系列的机器学习库训练了一个模型，但是有时候其他的产品和项目想把这个模型集成进去，但是这些产品很多只支持某些特定的生产环境比如Java，为了上一个机器学习模型去大动干戈修改环境配置很不划算，此时我们就可以考虑用预测模型标记语言(Predictive Model Markup Language,以下简称PMML)来实现跨...
Spark加载PMML进行预测
热门推荐
fansy1990的专栏
11-25 1万+
软件版本：CDH:5.8.0 , CDH-hadoop :2.6.0 ; CDH-spark :1.6.0 目标：使用Spark 加载PMML文件到模型，并使用Spark平台进行预测（这里测试使用的是Spark on YARN的方式）。具体小目标：1. 参考https://github.com/jpmml/jpmml-spark 实现，能运行简单例子；2. 直接读取HDFS上面的输入数据文件，使用
Spark-ml模型保存为PMML
baifanwudi的专栏
04-03 4017
spark版本2.1.3 maven设置 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_2.11</artifactId> <version>2.1...
Spark读写Hive添加PMML支持
fansy1990的专栏
12-03 3927
软件版本：CDH：5.8.0；Hadoop：2.6.0 ； Spark：1.6.0； Hive：1.1.0；JDK：1.7 ； SDK：2.10.6（Scala）目标：在Spark加载PMML文件处理数据（参考：http://blog.youkuaiyun.com/fansy1990/article/details/53293024）及Spark读写Hive（http://blog.youkuaiyun.com/fans
spark读写hive添加PMML支持
小东升职记
06-19 328
https://blog.youkuaiyun.com/fansy1990/article/details/53444781
pmml模型文件解析与自定义
zhouwenyuan1015的博客
09-06 3892
0. 背景 实际业务场景中， 模型训练完成后，但需要对模型进行一些微调，或者加一些人工的规则到模型中， 此时，需要了解pmml文件结构，以及 如何基于pmml文件人工计算预测得分，同时如何对pmml文件进行修改。 1. 了解pmml文件结构 http://dmg.org/pmml/v4-1/MultipleModels.html ---pmml4.1结构文件参考文档 需关注的几个元素： （1）MiningBuildTask： 模型文件描述 （2）DataDictionary：数据字典， 特征类型说明，
Spark之导出PMML文件（Python）
山阴少年
12-04 4920
本文将介绍如何在Spark中导出PMML文件（Python语言）。
pyspark使用ML库并用pyspark2pmml把模型保存为pmml格式
weixin_42051109的博客
11-20 6087
一、准备工作        使用Idea开发pyspark程序，在这之前我们需要做一些准备工作， 如同PyCharm开发pyspark程序一样，我们需要先对python项目进行配置： 1. 使用anaconda3里面的python     打开File -&gt; Project Structure -&gt; Project ,其中Project SDK的路径设为anaconda3的pyt...
Python模型上线pmml以及自定义函数转换（1）
jin_tmac's studio
07-09 7849
通常xgb或lgb模型通过pmml上线都比较简单，但是逻辑回归模型因为涉及到woe的转换，就要通过自定义转换函数的方式来实现。 1、常规转换-模型训练好之后立即转换 import joblib from sklearn2pmml import PMMLPipeline,sklearn2pmml # 保存模型 python可读入 def dump(clf, fp='clf'): joblib.dump(feature_names_2, 'feature_' + fp +'.pkl') jo
Spark-ml模型保存为PMML格式，PMML version不兼容问题。
baifanwudi的专栏
11-09 6623
最近使用spark-ml做数据模型训练，考虑到怎么把模型部署到线上环境。 本尝试spring-boot启动spark-local模式预测，发现线上预测需要200ms~300ms，耗时太多。 所以考虑把spark模型转换为pmml格式。 我的spark集群版本为2.1.3
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值