43、深入探索 MLlib 与可复用 ML 管道：原理、实践与性能评估

深入探索 MLlib 与可复用 ML 管道：原理、实践与性能评估

1. MLlib 库概述

MLlib 是构建在 Spark 之上的可扩展机器学习库，它由两个不同的包组成：
- org.apache.spark.mllib ：基于 RDD 的一些常见机器学习算法库，不过该包在未来版本中将被弃用。
- org.apache.spark.ml ：利用数据集和数据框结构的机器学习算法库，支持任务管道和阶段，后续会详细介绍。

MLlib 包的主要组件包括：
- 分类算法 ：如逻辑回归、朴素贝叶斯和支持向量机。
- 聚类和无监督学习技术 ：例如 K - means。
- L1 和 L2 正则化 。
- 优化技术 ：像梯度下降、逻辑梯度和随机梯度下降，以及 L - BFGS。
- 线性代数 ：如奇异值分解。
- 数据生成器 ：用于 K - means、逻辑回归和支持向量机。

机器学习字节码方便地包含在使用简单构建工具构建的 Spark 组装 JAR 文件中。

2. 创建 RDD

在 RDD 上执行转换和操作，因此第一步是创建一种机制，以便从时间序列生成 RDD。以下是创建 RDDSource 单例及其 convert 方法的代码