阳光的专栏

转载自：http://blog.youkuaiyun.com/jiapengxmu/article/details/41983341 import org.apache.spark.mllib.linalg.distributed.RowMatriximport org.apache.spark.mllib.linalg._import org.apache.spark.{SparkConf,

最近需要做个主题模文档分类，所以牵扯到高维矩阵的分解，初步尝试 7万*9万的矩阵分解，单机是实在无法跑的动，所以选择分布式的处理，来尝试import java.util.{Date, Locale}import java.text.DateFormatimport java.text.DateFormat._import org.apache.spark.mllib.linalg.

由于大型矩阵的奇异值分解，在普通的单机上是无法计算的，所以只能在spark集群上计算 在集群上计算会遇到一个问题，调用   “ M.computeSVD(5000, true,1.0E-9d)” 时，A=U*s*V  分解的s向量存储，V矩阵存储正常，但是分解的左奇异矩阵U默认为rowmatrix矩阵，这个矩阵存储的（存储代码：U.rows.saveAsTextFile("hdfs://1