spark mllib和spark ml机器学习基础知识

最新推荐文章于 2025-11-14 15:14:59 发布
原创 最新推荐文章于 2025-11-14 15:14:59 发布 · 2.1k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Spark机器学习库SparkMLlib和SparkML的使用，涵盖从数据预处理到模型训练的全过程。讨论了分类算法如逻辑回归、决策树、SVM和协同过滤，以及无监督学习的聚类方法。此外，还涉及特征抽取、标准化、转换和评估，如TF-IDF、Word2Vec和PCA。文章深入浅出地展示了Spark在机器学习中的应用。

spark机器学习

Spark MLib完整基础入门教程 - y-z-f - 博客园 (cnblogs.com)

参考

spark 机器学习简介

机械学习是一门人工智能的科学，用于研究人工智能，强调算法，经验，性能

开发者任务：spark基础+了解机器学习原理+相关参数含义

millib：

分类 回归 聚类 协同过滤 降维

特征化：特则提取 转化 降维 选择公交

管道：构建评估调整机器学习管道

持久性：保存和加载 算法，模型和管道

实用工具：线代(Breeze,jblas库) 统计 数据处理 的工具

spark:millib：基于RDD原始算法api（从spark2.0维护模式 3.0移除）

spark.ml:基于DataFrame的高层次API

ML Pipeline API：数据处理 特征转换 正则化 多个机器学习算法联合==》单一完整的机器学习流水线

离散数据 连续数据
监督学习 Classificatio
LogisticRegression(withElastic-Net)
SVM
DecisionTree
RandomForest
GBT
NaiveBayes
MultilayerPerceptron
OneVsRest		 Regression
LinearRegression(with Elastic-Net)
DecisionTree
RandomFores
GBT
AFTSurvivalRegression
IsoTonicRegression
无监督学习 Clustering
KMeans
GaussianMixture
LDA
PowerIterationClustering
BisectingKMeans		 Dimensionality Reduction
matrix factorization
PCA
SVD
ALS
WLS

spark.mllib

RDD常见函数

来源

name 作用
map 遍历
filter 过滤
flatMap 返回不一样的元素数
mapPartitions 每个分区map
mapPartitionsWithIndex 以分区为单位处理并获取index
reduceByKey key相同的进行reduce
sortByKey 排序
sorted 排序
join 相同key的合并
cartesian 笛卡尔积
reduce 两两传递
collect 返回RDD数据
count 返回个数
first 第一个元素
take 前n个元素
takeORdered 升序后的前n个
saveAsTextFile 保存
countByKey 拥有相同key的个数
countByValue 拥有相同value的个数

数据类型

本地向量（单机模式存储本地向量和本地矩阵，一个或多个RDD分布式矩阵）

整形+索引值+浮点型元素

org.apache.spark.mllib.linalg.Vector

稠密向量DenseVector：双精度浮点型数组[1.0,0.0,3.0]

稀疏向量SparseVector：n个+整形索引数组+双精度浮点型元素(3,[0,1],[1.0,3.0])

//1. 导包org.apache.spark.mllib.linalg.{Vector,Vectors} 
import org.apache.spark.millib.linalg.Vectors
import org.apache.spark.sql.SparkSession
//2.创建变量Vectors.dense/sparse 参数为数组Array() 元组Seq()
object name{
   
   
    def main(args:Array[String]):Unit={
   
   
        val spark=SparkSession.builder().master("local[*]").appname("name").getOrCreate()
        val d1=Vectors.dense([1.3,2.0,3.0])
        val s1=Vectors.sparse(5,Array(1,4),(3.0,3.0))
        print(d1)
        print(s1)
    }
    
}

标注点（表示监督学习中的一个训练样本）:带标签的本地向量

用于回归Regression和分类Classification（正1负0 BNM,./.,MBNVBCXQ1YTUJHGFNBVC X）问题上

双精度浮点型标签+本地向量

//1.导包 org.apache.spark.mllib.regression.LabeledPoint  org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.LabeledPoint
import org.apache.spark.mllib.linalg.Vectors
//2.创建变量LabeledPoint(1.0,Vectors.dense/sparse())
LabeledPoint(1.0,Vectors.dense(...))

mllib提供读取LIBSVM 格式数据 LIBSVM LIBLINEAR等机器学习库

//1.导包org.apache.spark.mllib.unil.MLUtils
import org.apache.spark.mllib.util.MLUtils
import org.apache.spark.millin.linalg.Vectors
//2.读loadLibSVMFile(sc,"*.txt") label index:value index:value index:value
val sc=SparkContext(new SparkConf().setMaster("").setAppName(""))
val svm1=MLUtils.loadLibSVMFile(sc,"*.txt")
svm1.collect().head()
svm1.collect().foreach(println)

本地矩阵(单机存储)

稠密矩阵DenseMatrix:列优先的双精度数组

稀疏矩阵Sparse Matrix:列优先的csc模式存储

//1.导包 org.apache.spark.mllib.linalg.Matricsx

//2.创建 Matrix.dense(行数，列数，元素)
Matrices.dense(3,2,Array(1.0,3.0,5.0,2.0,4.0,6.0))
/// Matrices.sparse(行数，列数，列索引，行索引，元素)
Matrices.sparse(3,2,Array(0,1,3),Array(0,2,1),Array(9,6,8))

分布式矩阵

长整型行索引+双精度浮点型元素

行矩阵RowMatrix

每一行输一个本地向量

numRows/numCols():获取行数/列数

rows:获取行 new RowMatrix(…).rows.foreach(println)

computeColumnSummaryStatistics():统计评价信息：QR分解 SVD分解 PCA分解

​ (得到每一列最大值)max/count/variance/mean/normL1

//1. 搭配包 org.apache.spark.linalg.distributed.RowMatrix
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.linalg.distributed.RowMatrix
//2.创建new RowMatriix(rows)
val dv1=Vectors.dense(1.0,2.0,3.0)
val dv2=Vectors.dense(2.0,3.0,4.0)
val mat=new RowMatrix(sc.parallelize(Array(dv1,dv2)))
mat.numRows()
mat.numCols()
mat.rows.foreach(println)
//3.评价
val summary=mat.computeColumnSummaryStatistics()
summary.count
summary.max/variance/mean/normL1

索引行矩阵IndexedRowMatrix

每一行一个有意义的行索引值存在IndexedRow组成(sc.parallelize())的RDD里

IndexedRow(索引，本地向量)

//1.导包 IndexedRow IndexedRowMatrix
import org.apache.spark.mllib.linalg.distrubuted.{
   
   IndexedRow,IndexedRowMatrix}
import org.apache.spark.{
   
   SparkConf,SparkContext}
import org.apache.spark.mllib.linalg.Vectors
//2.新建
val sc=new SparkContext(new SparkConf().setMaster("local[*]").setAppName("test"))
val id1=IndexedRow(1,Vectors.dense(1.0,2.0,3.0))
val id2=IndexedRow(2,Vectors.dense(2.0,3.0,4.0))
val idm=new IndexedRowMatrix(sc.parallelize(Array(id1,id2)))
idm.rows.foreach(println)
//3.获取

坐标矩阵CoordinateMatrix

基于矩阵项(MatrixEntry)构成的 (i行索引，j列索引，value元素)

new MatrixENtry(indexX,indexY,value)

transpose() 转置

toIndexedRowMatrix()转换成索引行矩阵IndexedRowMatrix

用于矩阵维度很大但稀疏的时候

//
import org.apache.spark.mllib.linalg.distrubuted.{
   
   CoordinateMatrix,MatrixEntry}
val en2=new MatrixEntry(0,1,0.5)
val en1=new MatrixEntry(2,2,1.8)
val ens=new CoordinateMatrix(sc.parallelize(Array(en1,en2)))
ens.entries.foreach(println)
val transens=ens.transpose().entries.foreach(println)
transens.toIndexedRowMatrix().rows.foreach(println)

分块矩阵 Block Matrix

基于矩阵块MatrixBlock((索引int,索引int),子矩阵Matrix)

validate:确认是否创建成功

索引行IndexedRowMatrix/坐标矩阵CoordinateMatrix.toBlockMatrix(尺寸) :分块转为分块矩阵

rowsPerBlock colPerBlock:大小/尺寸

import org.apache.spark.mllib.linalg.distributed.{
   
   BlockMatrix,CoordinateMatrix, MatrixEntry}

val ent1 = new MatrixEntry(0,0,1)
val ent2 = new MatrixEntry(1,1,1)
val ent3 = new MatrixEntry(2,0,-1)
val ent4 = new MatrixEntry(2,1,2)
val ent5 = new MatrixEntry(2,2,1)
val ent6 = new MatrixEntry(3,0,1)
val ent7 = new MatrixEntry(3,1,1)
val ent8 = new MatrixEntry(3,3,1)
val coordMat=new CoordinateMatrix(sc.parallelize(Array(ent1,ent2,ent3,ent4,ent5,ent6,ent7,ent8)))
val mat=coordMat.toBlockMatrix(2,2).cache()
mat.validate()
mat.toLocalMatrix
mat.numColBlocks
mat.numRowBLocks
val ata=mat.transpose.multiply(mat)  //转置相乘
ata.toLocalMatrix

数据统计工具

数据分析师先查看数据集的基本情况：汇总统计或概要性统计

一般的概要性统计用于概括一系列观测值，包括位置或集中趋势（比如算术平均值、中位数、众数和四分位均值），展型（比如四分位间距、绝对偏差和绝对距离偏差、各阶矩等），统计离差，分布的形状，依赖性等

spark.mllib库也提供了一些其他的基本的统计分析工具，包括相关性、分层抽样、假设检验，随机数生成等

  • 概括统计 summary statistics

    org.apache.spark.mllib.stat.Statistics

    Statistics.colStats(Rdddata).count/mean/variance/max/min/normL1/normL2/numNonzeros非零向量个数

    import org.apache.spark.millib.linalg.Vectors
import org.apache.spark.millib.stat.Statistics
val sdata=sc.textFile("iris.data").map(_.split(',')).map(
    p=>Vectors.dense(p(0).toDouble,p(1).toDouble,p(2).toDouble,p(3).toDouble))
val summary=Statistics.colStats(sdata)
summary.count/max/min/normL1/normL2/numNonzeros/variance/mean

  • 相关性 correlations

    Statistics.corr(x,y,“pearson”) ： 输出一个RDD[Vector]

    ​ 相关矩阵第i行第j列的元素是原矩阵第i列和第j列的相关系数

    Statistics.corr(data,“pearson”) 输出一个RDD[double]

    pearson皮尔逊系数[-1,1] :[-1,0)负相关 (0,1]正相关

    Pearson

    Spearman斯皮尔曼等级相关系数：用于排序

    Spearman

    import org.apache.spark.mllib.stat.Statistics
import org.apache.spark.mllib.linalg._
import org.apache.spark.{
     
     SparkContext,SparkConf}
data=sc.textFile("iris.data").map(_.split(","))
x=data.map(p=>{
     
     
    p(0).toDouble
})
y=data.map(p=>{
     
     
    p(1).toDouble
})
sdata=data.map(p=>{
     
     
    Vectors.dense(p(0).toDouble,p(1).toDouble)
})
println(Statistics.corr(x,y,"pearson"))
println(Statistics.corr(data,"perason"))

  • 分层抽样 Stratified sampling

    sampleBykeyExact和sampleByKey 区别：

    ​ sampleBykey每次一定概率掷硬币

    ​ sampleBykeyExact:全量数据作采样计算 每个类别都有类count*类比例个

    rdddata.sampleByKey(withReplacement=false,fractions,1)

    fractions:Map(“name1”->0,“name2”->0.4) 不同key的概率

    seed:随机种子：1

    withReplacement:是否放回

    import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.{
     
     SparkConf,SparkContext}
val data=sc.makeRDD(Array(
          ("female","Lily"),
          ("female","Lucy"),
          ("female","Emily"),
          ("female","Kate"),
          ("female","Alice"),
          ("male","Tom"),
          ("male","Roy"),
          ("male","David"),
          ("male","Frank"),
          ("male","Jack")))
val fractions=Map("female"->0.6,"male"->0.4) 
//female占抽样总数的0.6 male占0.4所以demale是5*0.6 和5*0.4
data.sampleByKey(data,fractions,seed=1).collect().foreach(println)
data.sampleByKeyExact(data,fractions,seed=1).collect().foreach(println)

  • 假设检验 hypothesis testing

    皮尔森卡方检测(Pearson’s chisquaerd tests):适配度检定和独立性检定

    Statistics.chiSqTest(value1[,value2])：一个值是适合度检验，两个是独立性检验

    Statistics.kolmogorovSmirnovTest(test,“norm”,0,1)

name value mean
methos pearson 采用什么方法
degrees of freedom 3 自由度，可自由变动的样本观测值
statistic 5.5882… 检测统计量
pValue 0.133455… 统计学-显著性检验方法得到的P
P<0.05显著
P<0.01 非常显著		 
import org.apache.spark.SparkContext
import org.apache.spark.mllib.linalg._
import org.apche.spark.regression.LabeledPoint
import org.apache.spark.mllib.stat.Statistics._

val data=sc.textFile("iris.data")//原数据
val v1=data
	.map(_.split(",")) 
	.map(p=>Vectors.dense(p(0).toDouble,p(1).toDouble,p(2).toDouble,p(3).toDouble)).first //第一行数据
val v2=data
	.map(_.split(",")) .
	map(p=>Vectors.dense(p(0).toDouble,p(1).toDouble,p(2).toDouble,p(3).toDouble)).take(2).last //第二行数据
Statistics.chiSqTest(v1)  //得到均匀分配的假设，检测指标数据是否均匀分配 p=0.133
Statistics.chiSqTest(Matrices.dense(2,2,Array(v1(0),v1(1),v2(0),v2(1))))
Statistics.chiSqTest(v1,v2
最低0.47元/天 解锁文章
Spark MLlib学习笔记：构建一个机器学习工作流
howard2005的专栏
05-02 2166
利用工作流，得到模型，进行预测
Spark MLlib 机器学习算法库
一米八多的瑞兹的博客
05-17 3716
✎ 学习目标 了解什么是机器学习及Spark MLlib的基本使用方式 掌握机器学习的工作流程 了解电影推荐系统的构建流程 理解MLlib的数据类型 概要 MLlib是Spark提供的处理机器学习方面的功能库，该库包含了许多机器学习算法，开发者可以不需要深入了解机器学习算法就能开发出相关程序。 初识机器学习 什么是实时计算 机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，专门研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使
深入理解Spark ML：基于ALS矩阵分解的协同过滤算法与源码分析
热门推荐
06-26 3万+
http://blog.youkuaiyun.com/u011239443/article/details/51752904随着互联网的迅猛发展,为了满足人们在繁多的信息中获取自己需要内容的需求,个性化推荐应用而生。协同过滤推荐是其中运用最为成功的技术之一。其中,基于用户的最近邻法根据相似用户的评分来预测当前用户的评分。然而,在用户数量以及用户评分不足的情况下,该方法存在冷启动和数据稀疏的问题。为了解决这两个问题，业界提出了提出了基于项的最近邻法，利用项之间相似性稳定的特点可以离线计算相似性,降低了在线计算量,提高了推
spark.ml支持算法总结
leemusk的博客
12-18 3295
一、分类 1、Logistic regression 1.1 适用的数据 逻辑回归通常用于处理自变量是连续变量，因变量是分类变量的回归问题。 1.2 代码机器结果
Spark MLLib
qq_37705525的博客
04-05 2873
Spark MLLib
Spark中ml和mllib的区别
weixin_30693683的博客
05-16 538
转载自：https://vimsky.com/article/3403.html Spark中ml和mllib的主要区别和联系如下： ml和mllib都是Spark中的机器学习库，目前常用的机器学习功能2个库都能满足需求。 spark官方推荐使用ml, 因为ml功能更全面更灵活，未来会主要支持ml，mllib很有可能会被废弃(据说可能是在spark3.0中deprecated）。 ml...
SparkMllib
12-22
SparkMLlib是Apache Spark的机器学习库，它提供了一系列实用的机器学习算法和工具，可以帮助用户更容易地实施机器学习算法和进行大规模数据分析。SparkMLlib的主要特点包括高效性、可扩展性和易用性。 SparkMLlib...
31、机器学习学习：Spark MLlib 和 Spark ML 实战
ujm567890的博客
09-07 43
本文介绍了如何使用 Spark MLlib 和 Spark ML 构建机器学习管道，涵盖数据集抽象、特征转换、管道构建与模型训练等关键步骤。重点探讨了主成分分析（PCA）在高维数据降维中的应用，并结合 MNIST 数据集展示了 PCA 在线性回归中的实际效果。通过对比降维前后模型的均方误差（MSE），验证了 PCA 在保留信息的同时提升模型效率的能力。文章还提供了完整的 Scala 示例代码和流程图，帮助读者理解从数据预处理到模型评估的完整机器学习工作流。
31、机器学习学习 - Spark MLlib与Spark ML
最新发布
p4q5r6s7t的博客
11-14 13
本文介绍了Spark MLlib与Spark ML在机器学习中的应用，重点探讨了ML管道的构建、数据集抽象以及无监督学习中的主成分分析（PCA）降维技术。通过使用MNIST数据集进行回归分析的实例，展示了从数据加载、特征提取、PCA降维到线性回归模型训练与评估的完整流程。文章还比较了原始高维特征与降维后特征对模型性能的影响，验证了PCA在处理高维数据时的有效性，为使用Spark进行大规模机器学习任务提供了实践指导。
大数据开发之机器学习总结（Spark Mllib）（四）
xiaohu21的博客
10-31 1020
大数据开发之机器学习总结（Spark Mllib）（四） 背景 在大数据和机器学习交叉的领域，如果公司选择了hadoop生态，结合spark框架，则spark 的mllib用于机器学习实际应用就是不二选择了。 团队有spark基础，学习和适用门槛低。但如果选择python生态，则需要团队有python基础，另外个人认为，python工程化对比java生态还是差了那么一些意思。 1. Spark MLLib简介 spark的mllib目前支持4种常见机器学习问题，分类，回归，聚类，协同过滤。 mlli
SparkML(PDF以及所用的数据)
02-02
SparkML(PDF以及所用的数据)，高清PDF，数据，一招搞定！
Spark MLlib
Morse_Chen的博客
02-08 2635
MLlib（Machine Learning Library）是Spark的机器学习库，旨在简化机器学习的工程实践，并能够方便地扩展到更大规模的数据。本篇文章介绍Spark MLlib机器学习，包括用于特征预处理的数理统计方法。
数据分析：Spark MLlib和Mllib
AI天才研究院
01-18 951
1.背景介绍 Spark MLlib和Mllib是Apache Spark生态系统中的两个重要组件，它们分别负责机器学习和数据分析。Spark MLlib是一个用于大规模机器学习的库，它提供了许多常用的机器学习算法和工具，如梯度下降、随机梯度下降、支持向量机、决策树等。Mllib则是一个更广泛的机器学习库，它提供了许多其他的机器学习算法和工具，如聚类、主成分分析、线性回归等。 在本文中，我们将...
Spark ML函数VectorAssemble
朱智文的专栏
10-14 1215
从源数据中提取特征指标数据，这是一个比较典型且通用的步骤，因为我们的原始数据集里，经常会包含一些非指标数据，如 ID，Description 等。为方便后续模型进行特征输入，需要部分列的数据转换为特征向量，并统一命名，VectorAssembler类完成这一任务。VectorAssembler是一个transformer，将多列数据转化为单列的向量列。 import org.apache.spa...
Spark入门实战系列--8.Spark MLlib（上）--机器学习及SparkMLlib简介
yirenboy的专栏
09-11 8835
- “机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。 - “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。” 一种经常引用的英文定义是：A computer program is said to learn from experience E with respect to some class of tasks T and perform
Spark 中 ML 和 MLlib 的特点和区别
给我一点温度
09-24 2367
大数据学习过程中一个重要的环节就是spark，但是在spark中有很多的知识点，很多人都傻傻分不清楚，其中，最易搞混的就是ml与mllib的区别，所以我们不妨来详细的了解一下二者的区别。 1. Spark ML 1）定义：ark机器学习。 2）主要操作的对象：DataFrame。 DataFrame是Dataset的子集，也就是Dataset[Row]。DataSet是对RDD的封装，...
【Spark基础编程】 第8章 Spark MLlib
Lenhart001的博客
06-10 2866
机器学习可以看做是一门人工智能的科学，该领域的主要研究对象是人工智能。机器学习利用数据或以往的经验，以此优化计算机程序的性能标准。机器学习强调三个关键词：算法、经验、性能。
spark ml
机器学习
08-06 892
使用机器学习 (Machine Learning) 技术和方法来解决实际问题，已经被成功应用到多个领域，我们经常能够看到的实例有个性推荐系统，金融反欺诈，自然语言处理和机器翻译，模式识别，智能控制等。一个典型的机器学习过程通常会包含：源数据 ETL，数据预处理，指标提取，模型训练与交叉验证，新数据预测等。我们可以看到这是一个包含多个步骤的流水线式工作，也就是说数据从收集开始，要经历多个步骤，才
Spark ML --- VectorAssembler
chbxw
06-01 7371
  VectorAssembler是将给定列列表组合成单个向量列的转换器。为了训练逻辑回归和决策树等ML模型，将原始特征和不同特征转换器生成的特征组合成一个特征向量是很有用的。VectorAssembler接受以下输入列类型:所有数值类型、布尔类型和向量类型。在每一行中，输入列的值将按照指定的顺序连接到一个向量中。   假设我们有一个带有id，hour，mobile，userFeatures和cl...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

厨 神

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值