spark(56) -- SparkMllib -- SparkMllib的功能和应用场景

1. SparkMllib简介及功能介绍

 MLLIB是Spark的机器学习库。提供了利用Spark构建大规模和易用性的机器学习平台，组件：
(1) ML 算法：包括了分类、回归、聚类、降维、协同过滤
(2) Featurization特征化：特征抽取、特征转换、特征降维、特征选择
(3) Pipelines管道：tools for constructing, evaluating, and tuning ML Pipelines
(4) Persistence持久化：模型的保存、读取、管道操作
(5) Utilities：提供了线性代数、统计学以及数据处理工具

2. SparkML版本变迁

通过官网了解SparkMllib的版本：

• 基于DataFrame的API是主要API
• Spark ml基于DataFrame的API
• Spark mllib基于RDD的API
• 基于MLlib RDD的API现在处于维护模式。

 从Spark 2.0开始，软件包中基于RDD的API Spark.mllib已进入维护模式。Spark的主要机器学习API现在是包中基于DataFrame的API Spark.ml。究竟两者有什么区别呢？