CoordinateMatrix To IndexedRowMatrix or To RowMatrix then SVD

最新推荐文章于 2023-10-24 08:41:26 发布

原创

最新推荐文章于 2023-10-24 08:41:26 发布 · 2.3k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#MLlib #SVD #spark-1.0.0

博客探讨了在Spark 1.0.0中如何对CoordinateMatrix进行SVD分解的问题。由于CoordinateMatrix本身不直接支持SVD，可以将其转换为IndexedRowMatrix或RowMatrix来实现。文章提到转换过程中可能会因稀疏矩阵变为稠密矩阵而导致内存膨胀的风险，并展示了通过toIndexedRowMatrix和toRowMatrix转换，然后计算SVD的具体代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目前，从spark1.0.0的scala 文档来看，MLlib下的linalg包下的分布式矩阵，有三种：RowMatrix, IndexedRowMatrix, CoordinateMatrix. 除了CoordinateMatrix没有SVD方法，RowMatrix 有SVD，PCA方法，IndexedRowMatrix有SVD方法。但是CoordinateMatrix对于大的稀疏矩阵而言是最好的选择，如果想做SVD分解，该怎么办呢？

方法是有的，CoordinateMatrix 可以通过toIndexedRowMatrix(),转化成IndexedRowMatrix，然后再做分解。CoordinateMatrix还可以通过toRowMatrix()函数转化成RowMatrix（通过源代码发现本质是先转化成IndexedRowMatrix，然后再转化成RowMatrix），然后再做SVD，PCA。但是有个问题值得考虑。这个过程中是将CoordinateMatrix的元素(行，列，值）通过扩充0，变成稠密矩阵那样吗？这样对于大的稀疏的矩阵来说