到目前为止,我们训练的传统机器学习模型都只能进行本地预测(本地调用test方法),那么怎么样把我们的模型部署到线上,然后做在线实时预测呢?
我们的模型实际上就是一个y = f(x)函数,x是特征数据,y是预测结果。我们训练模型的目的就是为了得到f(x)函数的参数;
训练完成后需要对参数进行序列化存储,生成模型文件,这一步叫做模型的导出;
模型的部署即加载模型文件并在内存组装f(x)函数提供在线服务;
在线预测即转换线上数据为模型所需要的特征数据格式,然后调用在线服务,生成预测结果。所有的机器学习包括深度学习框架训练的模型都是按照以上四个步骤进行部署和在线预测的,只是模型文件的不同。
因为scikit-learn已经成为Python最重要的机器学习库(没有之一),并且到目前为止我们所有的机器学习模型都是通过它训练的,下面主要介绍通过sklearn训练的模型的部署方式:
模型训练完成后,直接将模型导出为PMML(Predictive Model Markup Language)文件。注:PMML是数据挖掘的一种通用的规范,它用统一的XML格式来描述我们生成的机器学习模型,无论你的模型是sklearn,R还是Spark MLlib生成的,我们都可以使用相应的方法将其转化为PMML。关于PMML内部格式细节,请参考 PMML
clf = tree.DecisionTreeClassifier()
pipeline =PMMLPipeline([("classifier", clf)])
pipeline.fit(train_feature, train_target)
# 导出PMML模型文件
from sklearn2pmml import sklearn2pmml
sklearn2pmml(pipeline,"DecisionTree.pmml", with_repr = True)
或者在Python端先将模型序列化为pickle,再在Java端将pickle文件转为pmml:
clf = tree.DecisionTree