23、使用MLflow和MLeap管理与服务模型及Azure Databricks中的分布式深度学习

使用MLflow和MLeap管理与服务模型及Azure Databricks中的分布式深度学习

1. 机器学习模型序列化与部署

在机器学习模型的开发过程中，我们常常需要将训练好的模型导出并在不同环境中使用。MLeap是一种常用的格式，可用于序列化和执行由流行框架（如Apache Spark、scikit - learn和TensorFlow）构建的机器学习和深度学习管道。

1.1 使用MLeap导出和加载管道

以下是使用MLeap导出和加载DecisionTreeClassifier MLlib模型的步骤：
1. 创建并拟合管道 ：
- 读取训练数据并缓存到内存：

training_data = spark.read.parquet("/databricks - datasets/news20.binary/data - 001/training").select("text", "topic")
training_data.cache()

- 可视化数据并显示架构：

display(training_data)
training_data.printSchema()

- 定义预处理函数进行特征工程：

from pyspark.ml.fea