spark1.2.0源码MLlib --- SVD

最新推荐文章于 2022-04-28 10:58:11 发布

原创

最新推荐文章于 2022-04-28 10:58:11 发布 · 2.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #源码

博客探讨了如何使用Spark 1.2.0中的MLlib库进行奇异值分解（SVD），作为主成分分析（PCA）的一种高效实现。在大数据场景下，传统PCA方法计算协方差矩阵效率低下，SVD提供了一种避免平方级增长的解决方案，用于高维数据的降维。文中展示了具体的代码示例来说明如何在Spark中应用SVD。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

奇异值分解（SVD）是主成分分析（PCA）的一种实现，传统方法求PCA是首先计算协方差矩阵，再通过协方差矩阵求特征值与特征向量求出。当矩阵的维度很大时，求协方差矩阵将会呈现平方级的增长，因此可以通过SVD的方法，达到降维的效果。

先看一下spark中的使用案例，代码如下：

import org.apache.spark.mllib.linalg.Matrix
import org.apache.spark.mllib.linalg.distributed.RowMatrix
import org.apache.spark.mllib.linalg.SingularValueDecomposition

val mat: RowMatrix = ...

// Compute the top 20 singular values and corresponding singular vectors.
val svd: SingularValueDecomposition[RowMatrix, Matrix] = mat.computeSVD(20, computeU = true) //computeU 表明是否计算左奇异矩阵U
val U: RowMatrix = svd.U // The U factor is a RowMatrix.
val s: Vector = svd.s // The singular values are stored in a local dense vector.
val V: Matrix = svd.V // The V factor is a local dense matrix.

computeSVD() 的代码比较简洁（主要计算都在底层库），看其注释已经足够理解了，代码如下：

  /**
   * Computes singular value decomposition of this matrix. Denote this matrix by A (m x n). This
   * will compute matrices U, S, V such that A ~= U * S * V', where S contains the leading k
   * singular values, U and V contain the corresponding singular vectors.
   *
   * At most k largest non-zero singular values and associated vectors are returned. If there are k
   * such values, then the dimensions of the return will be:
   *  - U is a RowMatrix of size m x k that satisfies U' * U = eye(k),
   *  - s is a Vector of size k, holding the singular values in descending order,
   *  - V is a Matrix of size n x k that satisfies V' * V = eye(k).
   *
   * We assume n is smaller than m. The singular values and the right singular vectors are derived
   * from the eigenvalues and the eigenvectors of the Gramian matrix A' * A. U, the matrix
   * storing the right singular vectors, is computed via matrix multiplication as
   * U = A * (V * S^-1^), if requested by user. The actual method to use is det